• 最近访问:
发表于 2024-11-21 10:22:36 股吧网页版 发布于 甘肃
ChatGPT周访问量突破9亿,“精度感知”ScalingLaw再引关注!

算力周跟踪:ChatGPT周访问量突破9亿,“精度感知”ScalingLaw再引关注!

www.eastmoney.com 2024年11月21日 华福证券 陈海进,徐巡,李雅文 查看PDF原文




股名称相关涨跌幅大恒科技研报 资金流10.03%国光电气研报 资金流8.4%中英科技研报 资金流8.04%思科瑞研报 资金流7.17%点击查看全部>>




入名称相关净流入(万)汇川技术研报 资金流8474.10弘信电子研报 资金流3968.79生益科技研报 资金流3788.01江海股份研报 资金流2867.64点击查看全部>>

  投资要点:

  本周数据中心板块超微电脑涨势一骑绝尘, GPU/CPU 板块表现活跃。

  (1) GPU/CPU: 本周(1118-1120) 除英特尔外, 算力芯片板块普涨, 其中英伟达+3.54%, AMD+3.33%, 龙芯中科+8.95%, 寒武纪+9.98%, 海光信息+3.81%。 英伟达将于美东时间周三盘后披露三季度财报, 建议继续关注。 (2) 数据中心硬件: 超微电脑+52.15%, 先前受安永辞职影响, 超微电脑股价遭遇重创, 11 月 18 日其宣布聘请了新的独立审计师 BDO 并提交了合规计划, 增强了投资者对公司未来合规性的信心。

  “精度感知”scaling law 首次提出, AI 领域低精度加速时代即将结束。

  根据新智元 11 月 17 日报道, 哈佛斯坦福 MIT 等机构研究人员发现低精度训练会降低模型的有效参数量, 对此他们提出了“精度感知” scaling law。

  要点#1: 传统 scaling law 忽视精度, 低精度训练有效性受限。 传统的 scalinglaw 主要关注参数规模和数据量, 但忽视了精度这一关键因素。 研究发现,低精度训练不仅影响模型的有效参数量, 而且在推理过程中, 随着训练数据量的增加, 量化带来的性能损失也会增加, 特别是在模型后期量化时。

  因此, 低精度训练的有效性受限。

  要点#2: 低精度加速时代接近尾声, 未来范式将转向资源优化利用。 尽管低精度加速曾经是 AI 进步的核心推动力, 但这种趋势现在正接近尾声。 研究表明, 未来还需要超过 8 位的精度来训练许多模型。 随着低精度方法达到极限, 未来的 AI 研究范式将从单纯的规模扩展转向如何更有效地利用现有资源, 更关注于如何通过 AI 提高人类的生产力。 这种思维方式更侧重于流程和人的层面, 而非技术本身。

  马斯克旗下 xAI 122 天建成 10 万 GPU 超算集群, 科技巨头纷纷效仿。

  根据新智元 11 月 17 日报道, 马斯克的公司 xAI 仅用 122 天, 成功建成配备了 10 万颗 GPU 的超算集群 Colossus, 专用于 AI 模型训练。

  要点#1: 马斯克采用非传统方法, 超算建设速度从 4 年缩短至 4 个月。 通常情况下, 建设如此规模的 GPU 集群往往需要三年的规划与设计周期, 再加上一年的建设时间方能投入使用。 Colossus 完工之所以如此迅速, 是因马斯克采用非传统方法加速建设, 包括在电力供应不足情况下开始建设,并使用移动天然气涡轮机作为临时电源。

  要点#2: 亚马逊、 微软、 谷歌和 OpenAI 等科技巨头纷纷效仿马斯克方法。业界普遍认为, 服务器集群的规模越大, 其训练出来的人工智能表现就越出色。 马斯克的这一迅速建设方法已经引起了亚马逊、 微软、 谷歌和 OpenAI等科技巨头的关注, 他们正在尝试效仿这种方式, 建设规模更大的数据中心。

  大模型跟踪

  ChatGPT 访问量创新高, Kimi 发布新推理模型带动下载量。 据similarweb 最新数据(1108-1114) : (1) ChatGPT 本周访问量突破 9 亿,断层第一愈发稳固。 根据量子位 11 月 15 日报道, ChatGPT 发布更新, Mac客户端支持“读屏编程” , 可直接读取并处理开发工具中的代码; Windows客户端全量上线, 免费用户也可使用, 且支持高级语音模式和搜索功能。

  据七麦最新数据(1113-1119) : (1) Kimi11 月 16 日单日下载量近 300 万。11 月 16 日, Kimi 发布最新一代推理模型 k0-math, 在数学能力已实现对标OpenAI o1-mini 和 o1-preview。 (2) 讯飞星火本周下载量有所增长。 11 月14 日, 讯飞星火多模态交互大模型正式上线, 该模型实现音视频流实时多模交互, 新增“多模态、 超拟人和个性化” 能力, 实现语音、 视觉、 数字人交互三合一, 支持一键调用, 带动本周下载量。

  建议关注

  国产算力链: 寒武纪-U、 海光信息、 龙芯中科、 盛科通信等。

  数据中心硬件: 中际旭创、 工业富联、 新易盛、 天孚通信、 沃尔核材、英维克、 沪电股份、 胜宏科技。

  风险提示

  技术发展及落地不及预期; 下游终端出货不及预期; 下游需求不及预期; 市场竞争加剧风险; 地缘政治风险。


郑重声明:用户在基金吧/财富号/股吧社区发表的所有信息(包括但不限于文字、视频、音频、数据及图表)仅代表个人观点,与本网站立场无关,不对您构成任何投资建议,据此操作风险自担。请勿相信代客理财、免费荐股和炒股培训等宣传内容,远离非法证券活动。请勿添加发言用户的手机号码、公众号、微博、微信及QQ等信息,谨防上当受骗!
作者:您目前是匿名发表   登录 | 5秒注册 作者:,欢迎留言 退出发表新主题
郑重声明:用户在社区发表的所有资料、言论等仅代表个人观点,与本网站立场无关,不对您构成任何投资建议。用户应基于自己的独立判断,自行决定证券投资并承担相应风险。《东方财富社区管理规定》

扫一扫下载APP

扫一扫下载APP
信息网络传播视听节目许可证:0908328号 经营证券期货业务许可证编号:913101046312860336 违法和不良信息举报:021-34289898 举报邮箱:jubao@eastmoney.com
沪ICP证:沪B2-20070217 网站备案号:沪ICP备05006054号-11 沪公网安备 31010402000120号 版权所有:东方财富网 意见与建议:021-54509966/952500