云天励飞芯片具有较高水平,以下是具体介绍:
技术创新方面
• 自研架构与指令集:完成了三代指令集架构、四代神经网络处理器架构的研发并商用,拥有自主研发的NNP400T等神经网络处理器,如DeepEdge10系列芯片内置该处理器,采用三维并行的矩阵计算架构,矩阵计算与矢量计算联合优化,大幅提升算子的执行性能。
• 先进封装技术:DeepEdge10是国内首创的国产14nm Chiplet大模型推理芯片,通过D2D Chiplet和C2C Mesh等技术,可像搭积木一样灵活组建、扩展芯片算力,覆盖8T-256T不同算力应用,满足多种边缘场景对算力、内存、带宽的不同需求。
• 近存计算架构:设计了近存计算架构、自研多Router协同机制以及自适应Router结构等,实现了Transformer计算的超低延时、提高大模型参数数据响应速度,并减少数据搬运次数和对带宽的需求。
性能表现方面
• 算力不断提升:如DeepEdge10系列芯片中的DeepEdge10E可提供16TOPS(INT8)整型计算和2TFLOPS(FP16)浮点计算的深度学习推理计算算力,DeepEdge10 Max的Int8训练性能可达48TOPS。2024年推出的IPU-X6000加速卡具备256T算力、128GB显存容量、486GB/S显存带宽。
• 支持多种模型与框架:支持常用深度学习网络,如CNN,RNN,Transformer,GNN等,还适配了云天天书、通义千问、百川智能、Llama2/3等近10个主流大模型,支持多种深度学习框架运行,可满足从边缘计算到云计算的各类需求。
应用场景方面
• 边缘计算领域优势明显:其芯片主要定位于边缘AI芯片,强调“算法芯片化”,可广泛应用于AIoT边缘视频、移动机器人、智慧交通、清洁机器人等边缘计算场景,能有效解决数据上云的隐私问题,并凭借大模型的泛化能力覆盖多种长尾场景。
• 多领域拓展:基于Mesh Torus架构的大模型边缘推理一体机IPU X6000-Mesh 4U Server,可支持7B、70B、MoE等主流大模型的边缘侧推理部署,在智能监控、自动驾驶、智能制造等领域也有一定的应用前景。
市场与生态方面
• 市场竞争力较强:云天励飞是国内唯一一家ASIC AI芯片和推理卡制造商,其芯片及相关产品具有自主可控、性价比高的特点,为特定用户群体提供了极具吸引力的选择,也推动了国产AI芯片在边缘计算领域的发展,打破了国外技术垄断。
• 构建全栈能力与生态合作:构建了算法、芯片、大数据全栈式能力,其自研的“云天天书”大模型与自研芯片协同发展,并与华为联合发布了多项行业智能化解决方案,还与昇腾合作推出了名为“天舟”的大模型训推一体机。