巨大技术投入的尽头仍是如何创造商业价值。
随着大模型进入规模化落地应用阶段,近期,一波行业大模型密集扎堆发布。2024年12月底,百川智能推出全链路领域增强金融大模型Baichuan4-Finance,同期,中关村科金推出的助大模型平台2.0,更早前,奇富科技披露已将大模型引入小微金融场景……
相比巨头在通用大模型领域的算力与技术厮杀,特定场景的行业大模型无疑“更接地气”。
“2024年有很多云厂商来找到我们。因为我们在一线,有业务场景,可以直接去构建大模型产品得到用户反馈。”一位金融科技公司高管向《中国经营报》记者透露。
中国工程院院士、清华大学计算机科学与技术系教授郑纬民近期在接受记者采访时就表示,通用大模型不需要太多,我认为全国有三四个就够了。大模型下一步发展还是如何有更好的应用,并构建更好的软件生态。
技术大投入难持续
算力、算法、数据是大模型发展的关键三要素。其中,算力和数据被行业普遍认为是现阶段企业间的最大壁垒。行业大模型追求落地效果的呼声渐盛,首先来自算力和数据的高投入。
在算力上,随着大语言模型规模越来越大,参数甚至高达万亿级别,动用一次训练所需要的资金、人力和稳定性能源愈发昂贵。
郑纬民在接受记者采访时表示,基础大模型需要极大的计算量,需要很大规模的显卡,需要计算也需要存储,而具体场景上的行业模型则不需要这样的计算量。
他以一家知名大模型创业公司为例透露:该公司产品逻辑在于数据更多、模型更大、更长的上下文窗口,带来更好的输出效果。但更高的推理负载意味着更多的推理卡,卡多了存储器超负荷,使用流量一旦激增,就有可能带来宕机风险。据其透露:这家大模型公司此前连续买了五次算力卡都没有解决这个问题。
这一成本显然绝大多数机构“烧不起”。据记者向业内了解,大模型的环节分为训练和推理,如果是从训练开始,整个成本确实很大。也有机构人士向记者透露,推理成本上2023年仍然较高,但随着技术迭代,2024年推理的成本其实已经无限低了。
数据问题则是另一大瓶颈。根据Epoch AI Research研究预测,到2026年,现存的用于AI模型训练的高质量语言数据将耗尽。信息技术分析公司Gartner的一份研究报告也提到,到2030年合成数据(即制造数据),将成为AI模型的主要训练数据来源。
市场共识在于,大模型行业的发展已不再是狂飙状态,而是真正进入精细化落地的进程中。
郑纬民认为,人工智能进入大模型时代的两大特点是AI基础大模型从单模态向多模态发展,以及大模型加速行业智能化升级。在他看来,大模型时代有三类企业将会脱颖而出:研发大模型的企业、推动大模型应用落地的企业,以及支持大模型计算系统的企业。
其中,行业大模型公司则属于第二类。
中关村科金总裁喻友平在接受记者采访时表示,市场真正需要的是能够回归商业本质的实用工具。行业大模型必须提供端到端的解决方案,能够帮助企业解决实际问题,并具备全链条的服务能力。
场景应用呼唤商业价值
2024年11月,央行、国家发展改革委等联合印发《推动数字金融高质量发展行动方案》,既提到“强化数字技术支撑能力”以助力金融业数字化转型,也突出要“运用数字技术提升重点领域金融服务质效”。这也使金融机构在推动AI落地上有了强烈动力。
从领域来看,金融无疑当前大模型落地的一个重要领域。恒生研究院市场调研数据显示,2024年前三季度,我国公开披露的大模型项目中标总额达到20.75亿元,较2023年全年增长163%。金融行业的大模型中标项目数量为66个,项目金额达1亿元,占比4.9%。2024年1月至11月,金融行业的大模型中标项目数量达到103个,项目金额增至2亿元。
虽然从绝对占比来看,金融行业在全行业并不算高。但由于金融较之其他行业对于技术和安全的标准更高,因此能够在金融领域应用的大模型能力,往往具备向其他领域迁移的条件,即“向下兼容”。
前述金融科技公司高管就透露:2023年制定OKR时,公司管理层明确指出要找到大模型在金融科技领域最佳的应用。
企业侧对于场景的价值已有相当共识。奇富科技首席算法科学家费浩峻就表示,如果技术对于大模型的权重是40%,对于业务场景的理解和深耕则要达到60%。应用场景、数据飞轮、智能体是大模型产品三个必要条件。
在喻友平看来,“平台+应用+服务”的模式是企业大模型落地的最佳路径。他指出,大模型平台之间的差异主要体现在三个方面:算力的大小、模型的响应速度,以及以智能体为代表的应用构建能力。在智能体应用构建中,场景模板是最关键的因素之一。
怎么理解这种场景价值?喻友平告诉记者,对于场景价值和知识能力的理解,虽然方法论是通用的,但数据和行业场景并不通用。例如,保险销售和财富产品销售的外呼场景就不能通用,因为它们的流程不同,即使是营销外呼也可以衍生出多种场景,每个行业的需求也各不相同。
在一定条件下,这种场景能力有可能实现迁移,尤其是在营销获客方面。喻友平举例说,只要将某个行业的垂直场景数据和知识提取出来,并注入相关行业大模型中,一旦模型训练完成,就可以在另一个领域继续使用,从而实现标准化。这种能力迁移和标准化的可能性,为大模型在不同行业中的应用提供了广阔的前景。
目前来看,大模型在金融行业实际生产中的主要用途为内部赋能以及客服、外呼、获客等业务环节。据喻友平透露,以智能营销场景的大模型外呼为例,公司在某家装平台活动营销转化率达到了3.5%,对比传统AI外呼大幅提升130%,与人工座席相比仅有17%的差距;在智能运营环节在金融场景业务中,可以实现综合线索留资率提升19.8%……
如何从降本增效逐步升级到高效提升业务核心收益是关键。费浩峻也透露:目前已经将AI能力和金融大模型集成到新的信贷业务系统Focuspro2.0当中,既可以支持消费贷业务,也可以支持小微金融的业务,做到较好识别欺诈风险。
不过也有业内人士透露,一些大模型在金融业务里使用后刚开始的效果还是不错的,但是随着整个迭代变多以后效果出现了不稳定。就要深入一线和业务团队不断沟通,这些都是需要持续强化的领域。