近日,商汤绝影与国内知名车企合作伙伴联手打造的行业首个原生流式多模态座舱产品已经量产上车,并向用户进行OTA推送。
在两个月前的2024绝影实力AI DAY上,商汤绝影首发了AI汽车创新产品“A New Member For U”(你的家庭新成员),它能够察言观色,无时不在,心有灵犀,将会让智能汽车拥有“有趣的灵魂”。原生流式多模态大模型是打造“家庭新成员”的关键之一,也是它能察言观色的核心所在。
如今,随着商汤绝影的多模态舱外识别功能量产上车,它已经开始认识并且理解世界,能够实现前车识别、交通标志识别和沿途风光识别等功能,识别准确率、识别范围等性能全面领先行业,还能和车内驾乘人员进行深入交流与互动,这位未来的“家庭新成员”迈出了成长的第一步。
从交通标志识别来看,商汤绝影的舱外识别功能不仅能识别前车,还能够识别交通标志,这也是行业首发的产品能力,其他上车的多模态大模型都没有做到交通标志的准确识别。面对路面上越来越多的交通标志,即使是老司机有时候也会不知所措,反应不及。有了商汤绝影的交通标志识别功能,就相当于有了靠谱的驾校教练坐镇车内,交通标志的识别和解读信息不仅准确完善,车机系统还可以根据用户询问,给出驾驶建议,让司机驾驶起来更加安稳放心。
商汤绝影行业领先的舱外识别功能离不开原生流式多模态大模型能力。商汤绝影CEO、商汤科技联合创始人、首席科学家王晓刚就表示,基于商汤“日日新5o”打造的原生流式多模态大模型让世间万物都可被感知、被理解、被交互。原生流式多模态大模型是让文字、语音、视频等模态一同输入,模型统一处理后输出相应模态的信息。
原生流式多模态是一种非常自然且新颖的交互方式,将会成为一个全新的直接接触用户的超级入口,而智能汽车是这个超级入口的最佳落地场景。依靠智能汽车内外各种常开的摄像头,用户可以实时跟汽车通过多模态的方式进行交互。同时,智能汽车的保有量不断增加,能够产生丰富的终端用户反馈和数据信息,让模型不断迭代成长。通过应用场景和用户需求驱动,以原生流式多模态大模型为基础的座舱产品将能够让智能汽车高效准确地全景感知和深度理解用户需求和周围环境,并以此为核心打通不同应用,全局调用车上开放的软硬件服务,将离散的单点功能聚合在一起,从而为用户提供更多深度个性化的主动关怀和服务,让智能汽车成为你的新助手、新伙伴乃至新的家庭成员。
商汤绝影的原生流式多模态座舱产品量产上车,舱外识别能力覆盖了座舱、汽车周边的环境,这意味着“家庭新成员”开始逐步认识世界、理解世界,迈出了成长的第一步。作为专注于汽车行业的AI公司,商汤绝影在智能座舱领域具备丰富的量产经验。第三方调研数据显示,商汤绝影在座舱视觉AI软件市场的份额连续五年蝉联第一,座舱AI大模型产品已上车智己全系车型、LEVC L380等车型。截至2024年底,商汤绝影已与超过30家国内外车企达成合作,覆盖100余款车型,量产交付累计突破350万辆。