ChatGPT面世两年多以来,AI的主战场正在转向,从训练端转向一个规模更大、竞争更为激烈的领域:推理。推理被视作AI大模型的“下半场”,在上半场中,竞争聚焦于快速预训练响应,而如今,AI推理时代正在渐渐逼近,更多目光开始投向了慢速深度推理。
“AI预训练时代无疑将终结。”在温哥华NeurIPS大会上,OpenAI联合创始人兼前首席科学家伊利亚·苏茨克维尔(Ilya Sutskever)直言。
今年5月离开OpenAI之后,Ilya Sutskever创立了自己的AI实验室Safe Superintelligence,之后他鲜少公开露面,直至这一次亮相。
Ilya Sutskever在这场演讲中将数据比作化石燃料,而燃料终将耗尽。“算力在增长,但数据却没有增长,因为我们只有一个互联网……我们已经达到了数据峰值,不会再有更多数据了,我们必须处理好现有的数据。”
现有数据仍可推动AI进一步发展,业内也正在竭力挖掘新数据进行训练,这种情况最终将迫使行业改变目前的AI模型训练方式。
其预计,下一代AI模型将是真正的AI Agent,且具备推理能力——目前的AI主要根据大模型之前学习过的内容进行匹配,而未来的AI则能以更接近思考的方式来一步步解决问题。“它们能根据有限的数据理解事物,也不会感觉困惑。”他补充,AI推理得越多,就越难以预测。
一定程度来说,Ilya Sutskever的说法与OpenAI不久前的表态与最新动向不谋而合——用推理弥补数据瓶颈。
在11月末的一场路边谈话中,OpenAI高级研究副总裁Mark Chen否认了“Scaling Law撞墙”。他表示,“我们准确地掌握了需要解决的技术挑战”,OpenAI已经有o系列和GPT系列两个模型,来让模型继续保持Scaling。
其中,OpenAI近日发布的o1模型就是推理模型。其最突出的地方便在于“会推理”:在给出回答之前,o1会思考,通过产生一个很长的内部思维链(CoT),逐步推理,模仿人类思考复杂问题的过程。
这个过程也与Ilya Sutskever所说的“以更接近思考的方式来一步步解决问题”更加贴合。
或许对于一般用户而言,o1模型的这种转变不易察觉,但The Atlantic指出,研究人员已认识到,与GPT等旧模型相比,o1模型不仅仅是一次简单的升级,而是标志着一个“完全不同的游戏规则”和“真正的进步”。
▌AI推理时代来了?
预训练时代或许行将落幕,而在AI算力“跷跷板”的另一头,推理正在崛起。
近几日多家券商研报都指出,随着端侧AI放量,豆包、ChatGPT等AI应用快速发展,算力需求会加速从预训练向推理侧倾斜,推理有望接力训练,成为下一阶段算力需求的主要驱动力。
进一步来说,随着大规模AI模型普及,推理需求不断扩大并趋于多样化,定制化芯片的需求也有望扩大。
巴克莱的另一份报告预计,AI推理计算需求将快速提升,预计其将占通用人工智能总计算需求的70%以上,推理计算的需求甚至可以超过训练计算需求,达到后者的4.5倍。英伟达GPU目前在推理市场中市占率约80%,但随着大型科技公司定制化ASIC芯片不断涌现,这一比例有望在2028年下降至50%左右。
博通上周发布的财报也已证明了ASIC的需求之旺盛:2024财年公司的人工智能收入增长220%,达到122亿美元;其预计AI产品收入将在2025财年第一财季同比增长65%。博通还透露,目前正在与三个非常大型的客户开发AI芯片,预计明年公司AI芯片的市场规模为150亿-200亿美元。
随着谷歌、AWS等科技巨头纷纷加大对定制化AI芯片的研发投入,以强化在人工智能领域的技术优势和供应链控制力,国金证券今日研报指出,这一趋势不仅助力企业应对日益复杂的 AI 需求,还推动了整个自研芯片赛道的高景气度和持续创新。未来,自研芯片将在 AI 推理和训练领域扮演关键角色,成为降本增效和提升算力的重要手段。