阿里Qwen2.5数学能力受挑战：研究称模型表现或源于数据记忆-28资讯网—

阿里Qwen2.5数学能力受挑战：研究称模型表现或源于数据记忆

2025-07-22 11:02:13 资讯 2观看

摘要近期，国际科技界对阿里巴巴推出的Qwen2.5模型在数学推理能力上的表现展开了深入讨论。一项最新研究报告指出，Qwen2.5在多项数学基准测试中展现出的卓越推理能力，可能并非真正基于推理，而是更多地依赖于对训练数据的记忆。

近期，国际科技界对阿里巴巴推出的Qwen2.5模型在数学推理能力上的表现展开了深入讨论。一项最新研究报告指出，Qwen2.5在多项数学基准测试中展现出的卓越推理能力，可能并非真正基于推理，而是更多地依赖于对训练数据的记忆。

研究的核心发现表明，当Qwen2.5面对未在训练期间接触过的“干净”基准测试时，其性能显著下滑。这一发现暗示，模型在之前测试中取得的良好成绩，很可能是因为已经间接或直接接触过这些数据。

为了验证这一假设，研究团队设计了一项独特的实验：他们仅向Qwen2.5-Math-7B模型展示了MATH500基准测试的前60%题目，要求其预测剩余的40%。结果出乎意料，Qwen2.5-Math-7B以54.6%的准确率成功补全了缺失部分，相比之下，Llama3.1-8B的准确率仅为3.8%。这一巨大差异强烈提示Qwen2.5在训练过程中可能已“预习”过这些问题。

随后，研究团队使用LiveMathBench这一在Qwen2.5发布后创建的“干净”基准测试进行评估。由于LiveMathBench的数据集在Qwen2.5训练后才出现，因此模型不可能接触过。在这一全新数据集上，Qwen2.5的表现急剧下滑，完成率几乎为零，准确率也仅剩2%，与Llama模型的表现相当。

研究进一步指出，Qwen2.5可能在大型在线数据集上进行了预训练，这些数据集中包含了基准问题及其解决方案，如GitHub上的代码库。因此，即使训练过程中接收到错误的奖励信号，模型也可能因事先接触过这些数据而在MATH-500上表现优异。

为进一步探究这一问题，研究团队还进行了其他实验。当响应模板发生变化时，Qwen2.5在MATH-500上的性能大幅下降，而Llama-3.1-8B则几乎不受影响。这一发现进一步支持了Qwen2.5对特定数据模式的依赖。

研究还强调了基准测试在评估AI模型中的重要性。受污染的基准测试可能导致对AI进展的误解。因此，未来研究应依赖于干净、未受污染的基准，并评估多个模型系列，以获得更可靠的结果。

这一系列研究结果再次突显了在大型语言模型中区分真实推理与记忆的难度，以及清晰、严谨的评估方法对于可靠AI研究的重要性。此前已有类似案例表明，基准测试可能被操纵，从而影响评估结果的准确性。

举报 0收藏 0打赏 0评论 0 更多>同类资讯

Insta360跨界试水无人机，大疆迎来新对手？无人机市场或将洗牌据科技媒体PhotoRumors的消息，Insta360正在测试两个型号的无人机。在穿越机的机身上，可以明显看到有“Insta360”的品牌名，机身则是全黑色，下面还有一个可能是配件包的物品。 Insta36…07-21

“万能遥控器”热销：记者实测能开小区学校道闸，安全隐患引关注在网络购物平台，一种叫作“万能遥控器”的产品在公开销售，种类繁多，方便简捷，只有巴掌大小，号称能打开所有小区的道闸、卷帘门，畅通无阻，轻松实现出入自由。记者随机购买了一款销量较高的“万能遥控器”，前往多个…07-21

信创云建设全攻略：规划、设计与实施指南这是一份关于的PPT文档，内容丰富，涵盖了信创云的定义、背景、建设需求分析、系统架构设计等多个方面。政企信创云总体需求分析部分，强调了构建数字中台、支撑和驱动央国企战略管控、采用国产化技术实现安全可控等关键…07-21

工控PLC数据采集网关：无线通信与有线通信全解析工控PLC数据采集网关支持多种通信方式，包括无线通信和有线通信，具体如下：以太网通信：通过网线连接，具有传输速度快、稳定性高的特点，是工业环境中常用的通信方式，适用于工厂内部网络环境良好，且设备相对固定的…07-21

呕吐毒素快速检测新利器：高效精准守护食品安全该仪器可同时检测玉米、小麦、大米等多种谷物及饲料中的呕吐毒素残留，检测结果通过同一窗口直观展示，并支持无线通讯与数据集成管理，极大提升了检测效率与数据可追溯性。此外，还有一款多功能呕吐毒素快速检测仪，集成了…07-21

中国暖通设备智能化升级：互联网赋能，共筑绿色舒适生活此外，智能控制系统的引入，使得暖通设备能够根据室内外环境自动调节工作模式，进一步提升了能源使用效率，实现了“按需供暖/制冷”，为用户节省了大量费用。这一变革不仅极大地提升了家居环境的舒适度与能效，更为用户带来…07-21

亚马逊云科技陈晓建：AIAgent市场升温，云计算竞争格局将持续演进今年以来，已有亚马逊云科技、阿里云、火山引擎等国内外云计算厂商争夺AIAgent市场，希望把围绕Agent开发的平台和工具做好，但各家的思路并不完全一样。亚马逊云科技大中华区AI技术高级经理郭韧对界面新…07-21

中国科研团队突破：二维硒化铟半导体集成，开启芯片技术新篇章回顾过往，自 2016 年起进入硒化铟半导体研究领域，姜建峰一路见证并参与了这项前沿材料从实验室概念到有望大规模集成的全过程：2019年，他和所在团队发表了首篇关于硒化铟电子器件的论文；2023 年，他和…07-21

华为Pura 80标准版预售时间曝光，余承东社交平台意外透露快科技7月21日消息，华为常务董事、终端BG董事长余承东在社交平台发布一段宣传视频，主要介绍了鸿蒙系统的屏幕防偷窥设计。 Pura80标准版是系列中最便宜的一款，此前虽然在Pura 80系列发布会上亮相过，…07-21

逐际动力携京东战略投资，下半年将推出全尺寸人形机器人公开销售DoNews7月21日消息，具身智能机器人公司逐际动力 LimX Dynamics今日宣布，新一轮融资获京东战略领投，此次融资将深化逐际动力和京东在零售、物流和服务等领域的协同探索。逐际动力称，作为通用平…07-21

我国科研新突破：全球首台高时空分辨布里渊显微镜研制成功该显微镜的核心突破在于显著提升时间与空间分辨率，其应用潜力将为材料科学、生命科学等多个研究领域带来深远影响。此外，脉冲激光受激布里渊显微成像技术也已成功应用于多种生物样本的显微观测中，为生物医学研究提供了全…07-21

石头科技7月18日融券净卖出超千股，融资融券余额略降至7.38亿元融券方面，当日融券卖出1411.0股，融券偿还284.0股，融券净卖出1127.0股，融券余量3.7万股，近20个交易日中有13个交易日出现融券净卖出。包括券商对投资者的融资、融券和金融机构对券商的融资、融…07-21

百度广告收入下半年或承压，花旗下调利润预期，无人驾驶业务持续增长花旗分析师在报告中表示，在百度快速提升AI搜索能力和广告支出情绪持续低迷的情况下，广告收入对业绩的拖累可能超出预期。百度2025年一季度核心收入为255亿元，同比增长7%。今年一季度，萝卜快跑在全球提供超1…07-21AI版权风波：作家集体状告Anthropic，盗版书籍训练模型引争议07-21