英伟达推出Llama Nemotron Nano VL：视觉-语言模型处理文档更高效-28资讯网—

英伟达推出Llama Nemotron Nano VL：视觉-语言模型处理文档更高效

2025-06-05 09:42:00 资讯 92观看

摘要英伟达近日在文档理解领域迈出了重要一步，推出了Llama Nemotron Nano VL视觉-语言模型，这一创新旨在高效且精准地应对复杂的文档级理解挑战。Llama Nemotron Nano VL模型基于先进的Llama 3.1架构，巧妙融合了CRadioV2-H视

英伟达近日在文档理解领域迈出了重要一步，推出了Llama Nemotron Nano VL视觉-语言模型，这一创新旨在高效且精准地应对复杂的文档级理解挑战。

Llama Nemotron Nano VL模型基于先进的Llama 3.1架构，巧妙融合了CRadioV2-H视觉编码器和Llama 3.1 8B指令微调语言模型。这一结合使得模型能够同时解析多页文档中的视觉和文本元素，支持处理长达16K的上下文，无论是图像还是文本序列，都能游刃有余。

为了实现视觉与文本的精准对齐，该模型采用了投影层和旋转位置编码技术，这一创新极大地优化了token效率，尤其适用于长篇多模态任务。无论是面对多图像输入还是复杂的文本解析，Llama Nemotron Nano VL都能展现出卓越的性能。

在模型训练过程中，英伟达采取了分阶段策略。首先，利用丰富的商业图像和视频数据集进行交错式图文预训练，为模型打下坚实基础。随后，通过多模态指令微调，进一步提升模型的交互式提示能力。最后，重新混合纯文本指令数据，以优化模型在标准语言模型基准上的表现。

训练过程中，英伟达采用了自家的Megatron-LLM框架和Energon数据加载器，依托强大的A100和H100 GPU集群完成。在OCRBench v2基准测试中，Llama Nemotron Nano VL在OCR、表格解析和图表推理等任务上展现了领先精度，尤其在结构化数据提取（如表格和键值对）及布局相关问题解答中，表现尤为突出，甚至媲美更大规模的模型。

在部署方面，Llama Nemotron Nano VL同样表现出色。其设计灵活，支持服务器和边缘推理场景，满足多样化的应用需求。英伟达还提供了4-bit量化版本（AWQ），结合TinyChat和TensorRT-LLM实现高效推理，兼容Jetson Orin等受限环境。该模型还支持Modular NIM（NVIDIA推理微服务）、ONNX和TensorRT导出，为企业应用提供了丰富的解决方案。

为了进一步降低静态图像文档处理的延迟，英伟达还引入了预计算视觉嵌入选项。这一创新使得Llama Nemotron Nano VL在处理图像文档时更加高效，为企业用户带来了实质性的便利。

举报 0收藏 0打赏 0评论 0 更多>同类资讯贵州茅台5月底累计回购股份331万股，斥资超50亿贵州茅台公告，2025年5月，公司累计回购股份1,292,602股，占公司总股本的比例为0.1029%，购买的最高价为1,639.99元/股、最低价为1,527.30元/股，支付的金额为2,061,096,5…06-05海天味业H股全球发售，香港联交所上市计划获董事会批准海天味业公告称，公司第六届董事会第六次会议于2025年6月3日召开，审议通过关于公司H股全球发售并在香港联交所上市的相关安排，并修订《公司章程（草案）》。董事会同意刊发符合相关法律法规要求的招股说明书及其他相…06-05