华人团队突破Token限制，扩散模型学习潜力超自回归三倍-28资讯网—

华人团队突破Token限制，扩散模型学习潜力超自回归三倍

2025-08-14 10:23:39 AI 35观看

摘要AI界近期迎来了一项由华人科研团队带来的突破性进展，他们探索了扩散语言模型在Token数量受限条件下的表现，发现其数据学习能力远超自回归模型，展现出了三倍的优势。这一发现无疑为语言模型的训练策略开辟了全新的视角。

AI界近期迎来了一项由华人科研团队带来的突破性进展，他们探索了扩散语言模型在Token数量受限条件下的表现，发现其数据学习能力远超自回归模型，展现出了三倍的优势。这一发现无疑为语言模型的训练策略开辟了全新的视角。

这项研究的核心成果是一个拥有10亿参数的扩散模型，在仅使用10亿Token进行480轮训练后，它在HellaSwag和MMLU两项基准测试中分别取得了56%和33%的准确率。值得注意的是，这一过程中并未采用任何特殊技巧或数据筛选方法。更令人瞩目的是，即便在数据高度重复的训练环境中，该模型的表现也未出现饱和迹象，这显示了其从同一数据源中提取更多有价值信息的非凡能力。

深入剖析后，研究人员指出扩散语言模型之所以拥有如此强大的学习能力，主要得益于两大因素。一方面，扩散模型通过引入双向建模和扩散目标，打破了传统自回归模型在处理数据时面临的因果局限，从而能够更深入地挖掘数据中的信息。另一方面，扩散模型在计算密度上的优势显著，它在训练和推理阶段投入更多计算资源，通过多次迭代数据优化预测，进而提升了整体性能。

尽管扩散模型在数据重复利用方面表现出一定的稳定性，但研究团队也观察到，随着训练周期的增加，模型存在过拟合的风险。然而，一个令人意外的发现是，即便在过拟合的情况下，模型在后续任务中的表现并未立即下滑，有时甚至会有所提升。这背后的原因在于，验证损失的变化与下游任务准确率之间并非总是线性相关，模型在处理有限训练数据时，可能会对某些文本片段产生过度自信的现象。

此次研究成果不仅为AI模型的训练策略提供了新的灵感，特别是在Token数量受限的情境下，扩散语言模型的应用潜力巨大。接下来，研究团队计划进一步扩大模型规模，并引入更多样化的数据，以期进一步验证并拓展这些令人振奋的发现。

举报 0收藏 0打赏 0评论 0 更多>同类资讯AI与机器人领域新动向：华为发布UCM技术，宇树双重身份亮相机器人运动会机器人ETF（562500）是全市场唯一规模破百亿、流动性最佳、覆盖中国机器人产业链最全的机器人主题ETF，助力投资者一键布局中国机器人产业。科创人工智能ETF华夏（589010）是机器人的大脑，20%涨…08-13

苹果否认偏袒ChatGPT，回应马斯克指控：App Store公平无偏见苹果公司近日就埃隆·马斯克对其App Store平台提出的指控作出了正式回应。马斯克此前指责苹果偏袒OpenAI的ChatGPT应用，在App Store中存在不公平待遇。苹果公司在回应中强调，App Store始终秉持公平、无偏见的原则运营。“我们的平台旨在为用户提供安全的发现体验，同时08-13苹果新Siri：年底亮相，能否重塑iPhone交互体验？08-13

AI时代下的安全守护：中国电信构建全方位AI安全保障体系在2025世界人工智能大会中，中国信息通信研究院、中国电子信息产业发展研究院、清华大学、上海人工智能实验室等四家核心机构联合发布《中国人工智能安全承诺框架》，在《框架》在AIIA《人工智能安全承诺》（202…08-13

精准脉动：GPS网络授时服务器，现代数字世界的隐形基石在这背后，GPS网络授时服务器扮演着关键角色，成为维持社会高效运转的隐形基础设施。尽管GPS信号易受环境或人为干扰，现代授时服务器通常采用多源冗余策略，例如结合北斗、GLONASS等卫星系统，或在本地部署铷…08-13

中国科学家刷新无缺陷原子阵列规模纪录，量子计算关键技术获重大突破美国2025年已将量子倡议新法案追加27亿美元，我国将量子技术提升至国家战略高度，相关领域政策密集落地。目前量子科技行业正经历从实验室向商业化的加速转型，包括谷歌、亚马逊等科技巨头均已制定量子计算路线图，并在…08-13

苹果否认偏袒ChatGPT，回应马斯克指控：App Store公平无偏见然而，马斯克于昨日威胁要对苹果公司提起诉讼，声称苹果公司偏袒 ChatGPT，违反了反垄断法规。此外IT之家注意到，马斯克还声称苹果公司拒绝将 X 或 Grok 应用列入 App Store 的“必备应用…08-13

萌趣吉星猫AI闹钟大揭秘：内置讯飞星火，寓教于乐新体验内部主要配置方面，吉星猫AI智能闹钟内置1500mA 18650锂电池供电；搭载大尺寸动圈喇叭和驻极体麦克风，用于语音交互；主板上，采用了Allwinner全志XR872微控制器，Puya普冉PY25Q12…08-13易方达中证人工智能ETF联接A：8月净值涨3.13%，年内累计涨幅达20.9%现任易方达基金管理有限公司易方达中证科技50交易型开放式指数证券投资基金基金经理(自2020年3月16日起任职)、易方达中证人工智能主题交易型开放式指数证券投资基金基金经理(自2020年7月27日起任职)、易…08-13灵童·念NIA - F01女团机器人拍卖成交，京东Joy Inside智能体加持引关注08-132025年AI伴侣应用市场蓬勃发展，预计年收入超1.2亿美元08-13阿尔特曼新创脑机接口公司Merge Labs，或成Neuralink强劲对手08-13AI公司Midjourney版权风波：迪士尼环球影业指控下的合理使用抗辩08-13昆仑万维发布Skywork UniPic2.0：多模态AI领域迎来新突破08-13AI初创Perplexity豪掷345亿美元，向谷歌发起Chrome浏览器收购战08-13点击查看更多 +全站最新