算力周跟踪:ChatGPT周访问量突破9亿,“精度感知”ScalingLaw再引关注!
投资要点:
本周数据中心板块超微电脑涨势一骑绝尘, GPU/CPU 板块表现活跃。
(1) GPU/CPU: 本周(1118-1120) 除英特尔外, 算力芯片板块普涨, 其中英伟达+3.54%, AMD+3.33%, 龙芯中科+8.95%, 寒武纪+9.98%, 海光信息+3.81%。 英伟达将于美东时间周三盘后披露三季度财报, 建议继续关注。 (2) 数据中心硬件: 超微电脑+52.15%, 先前受安永辞职影响, 超微电脑股价遭遇重创, 11 月 18 日其宣布聘请了新的独立审计师 BDO 并提交了合规计划, 增强了投资者对公司未来合规性的信心。
“精度感知”scaling law 首次提出, AI 领域低精度加速时代即将结束。
根据新智元 11 月 17 日报道, 哈佛斯坦福 MIT 等机构研究人员发现低精度训练会降低模型的有效参数量, 对此他们提出了“精度感知” scaling law。
要点#1: 传统 scaling law 忽视精度, 低精度训练有效性受限。 传统的 scalinglaw 主要关注参数规模和数据量, 但忽视了精度这一关键因素。 研究发现,低精度训练不仅影响模型的有效参数量, 而且在推理过程中, 随着训练数据量的增加, 量化带来的性能损失也会增加, 特别是在模型后期量化时。
因此, 低精度训练的有效性受限。
要点#2: 低精度加速时代接近尾声, 未来范式将转向资源优化利用。 尽管低精度加速曾经是 AI 进步的核心推动力, 但这种趋势现在正接近尾声。 研究表明, 未来还需要超过 8 位的精度来训练许多模型。 随着低精度方法达到极限, 未来的 AI 研究范式将从单纯的规模扩展转向如何更有效地利用现有资源, 更关注于如何通过 AI 提高人类的生产力。 这种思维方式更侧重于流程和人的层面, 而非技术本身。
马斯克旗下 xAI 122 天建成 10 万 GPU 超算集群, 科技巨头纷纷效仿。
根据新智元 11 月 17 日报道, 马斯克的公司 xAI 仅用 122 天, 成功建成配备了 10 万颗 GPU 的超算集群 Colossus, 专用于 AI 模型训练。
要点#1: 马斯克采用非传统方法, 超算建设速度从 4 年缩短至 4 个月。 通常情况下, 建设如此规模的 GPU 集群往往需要三年的规划与设计周期, 再加上一年的建设时间方能投入使用。 Colossus 完工之所以如此迅速, 是因马斯克采用非传统方法加速建设, 包括在电力供应不足情况下开始建设,并使用移动天然气涡轮机作为临时电源。
要点#2: 亚马逊、 微软、 谷歌和 OpenAI 等科技巨头纷纷效仿马斯克方法。业界普遍认为, 服务器集群的规模越大, 其训练出来的人工智能表现就越出色。 马斯克的这一迅速建设方法已经引起了亚马逊、 微软、 谷歌和 OpenAI等科技巨头的关注, 他们正在尝试效仿这种方式, 建设规模更大的数据中心。
大模型跟踪
ChatGPT 访问量创新高, Kimi 发布新推理模型带动下载量。 据similarweb 最新数据(1108-1114) : (1) ChatGPT 本周访问量突破 9 亿,断层第一愈发稳固。 根据量子位 11 月 15 日报道, ChatGPT 发布更新, Mac客户端支持“读屏编程” , 可直接读取并处理开发工具中的代码; Windows客户端全量上线, 免费用户也可使用, 且支持高级语音模式和搜索功能。
据七麦最新数据(1113-1119) : (1) Kimi11 月 16 日单日下载量近 300 万。11 月 16 日, Kimi 发布最新一代推理模型 k0-math, 在数学能力已实现对标OpenAI o1-mini 和 o1-preview。 (2) 讯飞星火本周下载量有所增长。 11 月14 日, 讯飞星火多模态交互大模型正式上线, 该模型实现音视频流实时多模交互, 新增“多模态、 超拟人和个性化” 能力, 实现语音、 视觉、 数字人交互三合一, 支持一键调用, 带动本周下载量。
建议关注
国产算力链: 寒武纪-U、 海光信息、 龙芯中科、 盛科通信等。
数据中心硬件: 中际旭创、 工业富联、 新易盛、 天孚通信、 沃尔核材、英维克、 沪电股份、 胜宏科技。
风险提示
技术发展及落地不及预期; 下游终端出货不及预期; 下游需求不及预期; 市场竞争加剧风险; 地缘政治风险。