• 最近访问:
发表于 2024-12-18 07:28:50 股吧网页版
小型语言模型:AI领域的新热点
来源:科技日报

  多年来,谷歌等科技巨头和OpenAI等初创公司,一直在不遗余力地利用海量在线数据,打造更大、更昂贵的人工智能(AI)模型。这些大型语言模型(LLM)被广泛应用于ChatGPT等聊天机器人中,帮助用户处理各种各样的任务,从编写代码、规划行程,到创作诗歌等。

  自ChatGPT面世以来,AI模型便在变大、变强之路上“狂奔”。但喧嚣过后,科技公司也越来越关注更小、更精简的小型语言模型(SLM)。他们认为,这些小巧玲珑的模型不仅“术业有专攻”,而且部署成本更低廉、更节能。

  未来,这些规模不一的AI模型将协同工作,成为人类的左膀右臂。

  小型模型独具优势

  随着AI技术突飞猛进,AI模型的“块头”与日俱增。ChatGPT的缔造者OpenAI去年夸耀称,其GPT-4模型拥有约2万亿个参数。参数表示AI模型的大小,一般参数越多,AI模型的能力越强,庞大的参数量使GPT-4成为迄今最强大的AI模型之一,能回答从天体物理学到动物学等多领域包罗万象的问题。

  但是,如果某家公司只想借助AI模型解决特定领域(如医学)的问题,或者一家广告公司只需一款AI模型来分析消费者行为,以便他们更精准地推送广告,GPT-4这类模型就有点“大材小用”了,SLM反而更能满足用户们的要求。

  美国《福布斯》双周刊网站在11月的报道中,将SLM称为AI领域的“下一个大事件”。

  微软公司生成式AI副总裁塞巴斯蒂安·布贝克表示,虽然SLM的参数量目前并没有统一标准,但大约在3亿到40亿个之间,小巧到可以安装在智能手机上。

  专家声称,SLM更胜任简单的任务,如总结和索引文档、搜索内部数据库等。

  法国初创公司LightOn的负责人劳伦特·都德认为,与LLM相比,SLM拥有诸多优势:首先,这些模型的反应速度更快,能同时响应更多查询,回复更多用户;其次,SLM部署成本更低,能源消耗也更少。

  都德解释道,目前很多LLM需要大量服务器来进行训练,然后处理查询。这些服务器由尖端芯片组成,需要大量电力来运行,并进行冷却。而训练SLM所需芯片更少,运行耗费的能源也更少,这使其更便宜、更节能。

  SLM还可直接安装在设备上,在不依赖数据中心的情况下运行,这能进一步确保数据的安全性。《福布斯》表示,SLM能以最少的计算资源执行各种任务,使其成为移动设备、边缘设备等的理想选择。

  AI模型掀起“极简风”

  谷歌、微软、元宇宙平台公司以及OpenAI等公司闻风而动,推出了各种SLM。

  去年12月底,微软公司正式发布了只有27亿个参数的语言模型Phi-2。微软研究院在其X平台官方账号上表示,Phi-2的性能优于现有其他SLM,且能在笔记本电脑或移动设备上运行。今年4月,微软又推出了只有38亿个参数的Phi-3系列模型。

  今年8月,微软公司再接再厉,推出了最新的Phi-3.5-mini-instruct。这款SLM为高效、先进的自然语言处理任务量身打造。9月,英伟达公司开源了Nemotron-Mini-4B-Instruct。该公司表示,这款SLM特别适合边缘计算和设备端的应用。报道称,这两款SLM在计算资源使用和功能表现之间实现了良好平衡。在某些方面,其性能甚至可媲美LLM。

  OpenAI也不甘示弱。今年7月,OpenAI公司发布了GPT-4o mini,称其是该公司最智能和最实惠的SLM。

  此外,亚马逊公司还允许在其云平台上使用各种规模的AI模型。

  其他公司也纷纷开发更适合自身需求的SLM。例如,美国制药巨头默克公司正与波士顿咨询集团(BCG)合作开发一款SLM,旨在探究某些疾病对基因的影响。这将是一款参数介于几亿到几十亿之间的AI模型。

  大小模型作用互补

  虽然SLM在效率等方面具有独特优势,但LLM在解决复杂问题、提供更广泛的数据访问方面仍然具有极大优势。

  展望未来,LLM和SLM两种模型将“是朋友而非对手”,它们之间的协作交流将成为主流趋势。

  当遇到用户提出的某个问题时,一款SLM会“一马当先”,理解这个问题,再根据问题的复杂性,将相关信息发送给几个大小不一的AI模型。这些模型“群策群力”“并肩携手”为用户解决难题。

  目前市面上的AI模型要么太大、太贵,要么处理速度太慢。两者合作,或是最佳解决方案。

郑重声明:用户在财富号/股吧/博客等社区发表的所有信息(包括但不限于文字、视频、音频、数据及图表)仅代表个人观点,与本网站立场无关,不对您构成任何投资建议,据此操作风险自担。请勿相信代客理财、免费荐股和炒股培训等宣传内容,远离非法证券活动。请勿添加发言用户的手机号码、公众号、微博、微信及QQ等信息,谨防上当受骗!
作者:您目前是匿名发表   登录 | 5秒注册 作者:,欢迎留言 退出发表新主题
郑重声明:用户在社区发表的所有资料、言论等仅代表个人观点,与本网站立场无关,不对您构成任何投资建议。用户应基于自己的独立判断,自行决定证券投资并承担相应风险。《东方财富社区管理规定》

扫一扫下载APP

扫一扫下载APP
信息网络传播视听节目许可证:0908328号 经营证券期货业务许可证编号:913101046312860336 违法和不良信息举报:021-34289898 举报邮箱:jubao@eastmoney.com
沪ICP证:沪B2-20070217 网站备案号:沪ICP备05006054号-11 沪公网安备 31010402000120号 版权所有:东方财富网 意见与建议:021-54509966/952500