近日,工业和信息化部公示了《人工智能赋能新型工业化典型应用入选案例名单》,总部位于广州的佳都科技申报的“自成长大模型赋能城市轨道交通智能运维生态系统”成功入选。这个全球首个交通行业AI大模型究竟是怎样炼成的?有何不一样?
“全球首个”有多威?
记者想要了解这个全球首个交通行业AI大模型究竟有何“过人之处”,却很难在办公室约到受访者——从普通员工到技术高管,不是当“钢铁超人”不眠不休在实验室攻关研发,就是如“空中飞人”一般在全国各地的真实场景应用中去解难题。
“好几个周末都没休息,每天都没时间睡觉。”佳都科技AI首席科学家、85后的王凯,仅在2024年的最后一周,7天就要高铁加飞机,跑满5座城市。“你给我一周21天,我21天都能干满。”他的声音略显嘶哑,双目却炯炯有神。
如此高效忙碌的背后,藏着令人惊艳的成绩单:全球首个特大城市交通数字孪生系统、全球首个交通行业AI大模型都来自这里;仅经过为期6个月攻关,全球首个“交通大模型”就开启推动算力、算法、数据、行业应用四位一体AI大模型产品化落地;今年6月,被誉为“大模型全家桶”的佳都知行交通大模型V2.0上线,涵盖十亿至千亿不同参数规模;目前,全国已开通地铁的58座城市中,有44个城市有佳都的产品和服务。产业链正布局出海,未来将在东南亚、中东等地区辐射国际市场。
研发直面市场需求
持续不断的创新从哪里来?从王凯和他的团队“知行”中,能找到答案:研发“人无我有”,直面需求“接地气”。
来自“广东造”的佳都知行交通大模型,有这些特征:参数规格覆盖十亿至千亿、可基于纯国产算力进行训练与推理、具备从0到1训练大模型的能力、不依赖任何国外开源代码……
“最大的挑战是不单单要把一个模型从0到1训练出来,更重要的是能够让这个大模型真正部署在关系国计民生的场景中。”王凯表示,无论是上百万元,还是数千元,他和AI大模型研发团队都可以针对客户可行的成本来进行“量体裁衣”,为他们基于可用的国产算力来进行适配部署。
公共交通、轨道交通的场景万千,现实场景的定制化需求也“千奇百怪”。为此,王凯和团队,不分昼夜地密集研发,把大模型从预训练、指令微调、人工对齐到高效推理,这样全栈技术体系的消化掌握,使得这个“粤造”大模型与国内一线厂家站在了起跑线上。
以大模型启动小样本学习为例,传统算法需要超1万个样本,基于大模型的预训练底座,现在只需400个样本就可完成定制。之前一个新算法产生需要一个月,现在只需3天。算法准确率也超过传统基于小模型的算法,达到95%。
勇闯“无人之径”
广东制造要成为全球制造业顶流,科研创新是必选项。
拥有敢吃“螃蟹”的自信,无惧“卡脖子”,也是佳都AI研发团队的“知行”答案。
作为清华-加州理工学院联合培养的博士,曾入职中国科学院从事学术科研,也曾当创业者多年的王凯坦言,用英伟达的算力来训练大模型,在业界很多团队都可以做。但如果切换成纯国产算力,在国产千卡集群上面完成大模型的预训练,在业界却是一条没有过多参考辅导和帮助的“无人之径”。
“当走过这样一个过程,就可以无惧未来美国对我们‘卡脖子’。”王凯介绍,国产算力MFU(模型算力利用率)已接近上一代英伟达算力的水准。
在王凯看来,广东之所以能出现“全球首个”创新,得益于良好的创新土壤。以佳都科技为例,作为广州人工智能产业链的链主单位,只有与产业链上下游的紧密沟通,与“人工智能+”兄弟企业频繁互动,才能启发更多场景和应用机会,在实践中解决真实问题。
王凯说自己2024年最难忘的一件事,是团队经过日夜攻关,在国产千卡智算集群完成大模型训练验证的那一刻。意味着即使没有用英伟达的算力,也能够很自信地基于国产集群来做大模型的从0到1的训练。
“这样的自信无比珍贵。”他说。
在产业互联网时代大背景下,不断夯实核心竞争力,蓄势待发……制造大省挑大梁,广东人工智能与工业制造等场景正在深度融合,向“新”实践。