蚂蚁集团用本土AI芯片训练大模型,成本降低20%
2025-03-26 11:01:22 芯片 56观看
摘要据法新社报道,蚂蚁集团近日发布了一项重要研究成果,其研发团队利用中国本土AI芯片成功训练出参数规模达3000亿的混合专家(MoE)大模型,训练效能媲美采用NVIDIA H800芯片的方案,同时成本降低了20%。这一突破展现了中国在AI基
据法新社报道,蚂蚁集团近日发布了一项重要研究成果,其研发团队利用中国本土AI芯片成功训练出参数规模达3000亿的混合专家(MoE)大模型,训练效能媲美采用NVIDIA H800芯片的方案,同时成本降低了20%。这一突破展现了中国在AI基础设施领域的自主创新能力。
蚂蚁集团的Ling技术团队在预印本平台Arxiv上发表论文《每一个FLOP都至关重要:无需高级GPU即可扩展3000亿参数混合专家LING大模型》,详细介绍了这一成果。由于高性能GPU供应受限且成本高昂,蚂蚁团队通过算法优化与硬件兼容结合的方式,使用中国本土低端芯片完成了大规模模型训练。
研究中,蚂蚁推出了两款不同规模的MoE模型:羽量级的“百灵Ling-Lite”(168亿参数)和高效能的“百灵Ling-Plus”(2900亿参数)。其中,Ling-Plus模型在9万亿token预训练中表现出色,花费仅508万元人民币,相比传统方案节省127万元,成本降低约20%。在多项基准测试中,该模型的表现与采用NVIDIA芯片训练的同类模型如阿里巴巴的通义Qwen2.5-72B和深度求索的DeepSeek-V2.5不相上下。
这一成果的核心在于通过动态路由优化、梯度压缩和计算架构重构等技术,克服了中国本土芯片在算力和带宽上的局限。这种方法“以算法补硬件不足”,为中国AI产业在外部限制下提供了新的可能性。
首先,该研究验证了中国本土AI芯片承载大模型训练的可行性,为华为升腾、阿里平头哥等芯片厂商提供了重要发展路径。其次,训练成本的降低将使更多中小企业得以参与大模型研发,推动AI应用的多元化发展。
蚂蚁集团还宣布将开源相关技术,优先应用于医疗、金融等民生领域,推动AI技术的普惠化。业内人士分析,若这一技术得到广泛应用,中国AI产业对NVIDIA等国际芯片厂商的依赖度有望显著下降,为中国AI技术在全球竞争中赢得更多主导权。

本文链接:http://www.28at.com/showinfo-27-138882-0.html蚂蚁集团用本土AI芯片训练大模型,成本降低20%

声明:本网页内容旨在传播知识,不代表本站观点,若有侵权等问题请及时与本网联系,我们将在第一时间删除处理。

显示全文

上一篇:日本九州推动“分散式”半导体园区建设,各方资源加速整合

下一篇:德仪发布全球最小MCU,称不惧市场竞争

最新热点