近日，字节跳动豆包大模型团队宣布推出全新稀疏模型架构UltraMem。该架构解决了MoE推理的高额访存问题，推理速度较MoE架构提升2-6倍，推理成本最高降83%。
UltraMem具有出色的Scaling特性，实验显示，在同等计算资源下，训练规模达2000万value的UltraMem模型能同时实现领先的推理速度和模型性能。该创新成果已被ICLR 2025接收，为AI领域提供新思路。
UltraMem参考PKM设计，但针对其缺陷进行改进，实现更高效访存和优质检索，同时降低显存和部署成本。在降低推理成本和提升速度的同时，UltraMem还保持了模型效果。
实验表明，UltraMem在模型效果和推理速度方面均优于MoE和PKM架构。
推理成本的降低将助推AI技术在更多领域应用，尤其是资源受限的场景。对于用户而言，UltraMem架构的突破和推理速度的提升可使AI应用响应更迅速，交互更流畅，优化使用体验，提高效率。
本文链接：http://www.28at.com/showinfo-27-130227-0.html字节豆包推UltraMem架构，降推理成本83%
声明：本网页内容旨在传播知识，不代表本站观点，若有侵权等问题请及时与本网联系，我们将在第一时间删除处理。
