IBM近期揭晓了其Granite 4.0系列中的一款迷你版模型——Granite 4.0 Tiny预览版的细节。这款模型在5月2日进行了介绍，是Granite系列中的小型版本之一。
Granite 4.0 Tiny Preview以其卓越的计算效率和极低的内存需求脱颖而出。在FP8精度下，它仅需12GB显存便能同时运行5个128KB上下文窗口的对话。这样强大的性能只需一张英伟达GeForce RTX 3060 12GB显卡便能实现，该显卡的建议零售价为329美元（约2383元人民币）。
尽管目前预览版仅训练了2.5T的Token数，但其性能已能与训练了12T Token的Granite 3.3 2B Instruct相媲美。更令人惊讶的是，在128KB上下文窗口下支持16个并发会话时，其内存需求降低了约72%。据IBM透露，最终版本的Granite 4.0 Tiny预计性能将达到甚至超越Granite 3.3 8B Instruct的水平。
Granite 4.0 Tiny Preview的总参数规模为70亿，但实际参与计算的活跃参数仅为10亿。它基于Granite 4.0系列全线采用的混合Mamba-2/Transformer架构，这种架构结合了速度与精度，有效降低了内存消耗，同时保持了出色的性能。
目前，Granite 4.0 Tiny预览版已在Hugging Face平台上以标准的Apache 2.0许可证开放获取。IBM计划在今年夏天正式发布Granite 4.0系列的Tiny、Small和Medium版本，为用户带来更多选择。
本文链接：http://www.28at.com/showinfo-22-149084-0.htmlIBM预览Granite 4.0 Tiny：12GB显卡驱动5会话，高效低耗引领新潮流
声明：本网页内容旨在传播知识，不代表本站观点，若有侵权等问题请及时与本网联系，我们将在第一时间删除处理。
