清华教授唐杰:Scaling Laws虽被质疑,但至今仍是提高大模型性能的重要方法
住了人工智能发展的喉咙。他表示,传统的大模型研究思维一直是围绕芯片进行算法设计,导致当前所有大模型的基础算法都只能在H100/A100类似体系架构上进行设计与实现。当前国产芯片被“卡脖子”的最关键技术是单GPU芯片的计算能力和芯片间的高速通信,尤其是后者。“因此,有必要从底层开始,围绕大模型/AGI算法设计研发新型芯算一体大模型机。核心思想是首先设计全新的大模型算法,然后针对新算法优化内存使用,提
住了人工智能发展的喉咙。他表示,传统的大模型研究思维一直是围绕芯片进行算法设计,导致当前所有大模型的基础算法都只能在H100/A100类似体系架构上进行设计与实现。当前国产芯片被“卡脖子”的最关键技术是单GPU芯片的计算能力和芯片间的高速通信,尤其是后者。“因此,有必要从底层开始,围绕大模型/AGI算法设计研发新型芯算一体大模型机。核心思想是首先设计全新的大模型算法,然后针对新算法优化内存使用,提