← 返回 PaperDaily
大模型与智能体
西北大学&亚马逊AGI最新研究：让大模型学好“纠错”，推理能力暴涨，4B模型打趴8B！
让大模型第一步就做对，这要求有点高。但如果允许它错几次，再一步步修正呢？ 西北大学联手亚马逊AGI提出的REVES框架，精准点出了当前“测试时扩展”技术的核心瓶颈——训练与推理的“步数”不匹配。它巧妙地通过把“接近正确”的错解转化为修正样本，用单步强化学习高效地训练模型学会自我纠错，在代码、数学上全面领先，还用4B模型在圆球填充任务上追平了8B系统的SOTA
龙哥读论文
发布于 2026-08-20 00:20:07
阅读 3
查看原文
🐉 龙哥读论文知识星球来了！ 公众号每日8篇拆解不够看？星球 无上限更AI领域论文、资讯、招聘、招博、开源代码， 一站式干货，每日2分钟刷完即赚！ 👇扫码加入「龙哥读论文」知识星球，前沿干货、实用资源一站式拿捏～
龙哥推荐理由：
原论文信息如下：
先抛出一个问题：你辛辛苦苦训练了一个大模型，它第一次回答问题的正确率可能只有 20%，但如果你给它多几次“试错修正”的机会，它最终的正确率能飙升到 50% 以上——这算不算一个巨大的进步？
现有的测试时扩展（Test-Time Scaling，TTS）技术，比如 Sequential Revision（顺序修订，即让模型基于上一次的错误和反馈不断改写答案）、MCTS（蒙特卡洛树搜索）、Mind Evolution 等，正是利用这个“多步修正”的机制来大幅提升最终答案质量。但问题来了：我们训练大模型的时候，用的都是 “一锤子买卖”
今天龙哥要讲的这篇论文《REVES: REvision and VErification–Augmented Training for Test-Time Scaling》，来自西北大学、亚马逊 AGI、高通 AI 研究院和明尼苏达大学。它提出的 REVES 框架，巧妙地把模型在修正过程中犯的“错误”变成了训练燃料 +6.5 个点 追平了之前用 Gemini 2.0 Pro/Flash 等大系统的最佳结果
这篇文章没有那些花里胡哨的复杂架构，核心思想简洁而有力——让训练目标跟测试时的推理步数对齐
为什么“一锤子买卖”不好使？从单次回答到“修正-验证”的范式转变 首先，我们得搞清楚一个核心概念：测试时扩展（Test-Time Scaling，TTS） 顺序修订（Sequential Revision，SR）
现在，大多数训练方法（比如 RLHF、RLVR、GRPO）优化的是所谓的单步目标（One-Shot objective）
这就像训练一个学生只考“一次定终身”，但考试时却允许他反复订正。这两件事完全不匹配！
论文的 定理 3.2 单步训练无法替代多步推理训练
那该怎么办？论文选择了一个聪明的训练目标：顺序修订目标 J_φ_SR 定理 3.1 使用修订的 TTS 算法
如何从失败中学习？REVES将“错误”转化为“训练燃料”的两阶段框架 目标定了，怎么优化呢？直接做多步强化学习（Multi-turn RL）？缺点很明显：对于一条“错→错→对”的轨迹，多步 RL 会给三步都分配相同的正面奖励，包括那两个错误步骤。这好比老师因为你最终答对了，就表扬你之前的每一个错误——显然不合理。
REVES 的核心洞察是一个数学分解（Lemma 4.1 从第一次错误答案出发，模型需要学会如何修正成正确的；从第二次错误答案出发，同样需要学会修正
基于这个分解，REVES 提出了一个简洁的 两阶段迭代框架
Stage I：数据增强（Data Augmentation）
对每个训练问题，用当前策略 π_θ 执行一次顺序修订（最多 K 步）。只保留那些最终成功的轨迹（即在预算内修正出正确回答）。然后，从这些成功轨迹中提取出所有中间状态（即那些“接近正确”的错误答案），将每个中间状态转化为两类提示：
修订提示（Revision Prompt） 验证提示（Verification Prompt） Stage II：单步强化学习（Single-turn RL）
将 Stage I 生成的修订提示和验证提示，与原始的 RL 训练提示合并，用标准的单步 RL 算法（如 RLVR）来更新策略。注意，这里每个样本都是单个（提示，回答）对，不需要多步展开。
两个阶段交替进行：每一轮迭代，先用当前策略执行 Stage I 生成新数据，再用这些数据执行 Stage II 更新策略，然后进入下一轮。
图3 直观地展示了这个分解思想：水平链条是保留的成功轨迹，每个状态 z 处，从当前策略采样新的分支来估计一步恢复概率 V_π(z)。
实验结果全面开花：代码、数学、未知难题，甚至“圆球填充”都赢了 论文在多个基线和任务上进行了全面评估。训练集使用 Skywork-OR1-RL-Data（7298 数学 + 1015 代码 = 8313 条），测试了 Qwen2.5-7B、Qwen2.5-3B、Qwen3-4B 和 DeepSeek-R1-Distill-Qwen-7B。
代码任务 数学任务 圆球填充（Circle Packing） 与之前用 Gemini 2.0 Pro/Flash、R1-Qwen3-8B 等系统最好的结果完全一样 未知分布外谜题 通用的修正能力 来看看REVES的功力：各种测试策略下，它都更胜一筹 除了 SR 本身，论文还测试了 REVES 训练后的模型在 其他使用修订的 TTS 算法 在 SR 上训练，直接提升所有使用修订的算法
REVES为何成功？连续数据增强是关键 论文对关键设计进行了细致的消融实验（图6、图7）。
另外，表5 分析了修订提示和验证提示各自的贡献：单独使用修订提示（Revision Only）在 Oracle 停止下效果不错，但自置信度停止（SelfConf-4）下效果不明显；而单独使用验证提示（Verification Only）能提升自置信度停止的准确率。两者结合（REVES）才实现了最好的整体性能。这个分析清晰地说明了为什么两阶段的提示设计都很重要。
龙迷三问 REVES 与多步 RL 的核心区别是什么？
什么是“顺序修订”（Sequential Revision, SR）？
REVES 的“近错”（near-miss）答案是什么意思？
如果你还有哪些想要了解的，欢迎在评论区留言或者讨论~
龙哥点评 论文创新性分数： ★★★★✰
REVES 将测试时扩展问题形式化为元强化学习问题，提出逐状态分解训练信号的新方法，整体思路自然且有效。概念上的转化（错误→训练燃料）有一定的新颖性，但本质上还是“数据增强+单步RL”的组合，基础元素不新，因此扣一星。
实验合理度： ★★★★★
实验设计非常全面：涵盖了代码、数学、圆球填充、分布外谜题等多种任务；对比了单步RL、多步RL、PAG 等多个强基线；进行了充分的消融实验，分析了预算、增强次数、提示类型等因素的影响。所有结果清晰且支撑论点。满分。
学术研究价值： ★★★★✰
该工作明确指出了训练目标与测试时部署之间的步数不匹配问题，并提供了一个简洁的解决方案。对于后续研究如何对齐训练和推理多步动态具有重要启发。但方法本身在理论深度上尚可，定理证明虽严谨但结论不算特别意外，因此四星。
稳定性： ★★★★✰
REVES 在多种任务和模型上表现一致，消融实验也显示对不同超参数（如预算K、增强轮数）相对鲁棒。但需要注意，论文中所有实验均使用公开测试用例作为代码反馈，以及使用 TailConfidence 作为数学的自停止规则。如果切换到更嘈杂的反馈或更弱的自停止规则，稳定性可能会下降。因此四星。
适应性以及泛化能力： ★★★★★
REVES 在多个不同任务（代码、数学、圆球填充、N皇后、数独）上都取得了提升，并且训练后的模型在多种 TTS 策略（SR、MCTS、Mind Evolution）上都有增益。泛化性很好。满分。
硬件需求及成本： ★★★★✰
训练阶段：REVES 需要额外生成增强数据（Stage I），但可以异步并行，训练本身是单步RL，计算量小于多步RL。推理阶段：测试时扩展算法本身需要多次模型调用，但与普通SR相同。总体来看，训练成本可控，推理成本取决于预算。4B模型即可达到SOTA，硬件门槛低。四星。
复现难度： ★★★★★
论文已开源代码仓库（https://github.com/yxliu02/REVES），提供了完整的数据生成和训练脚本，且依赖的主流框架（vLLM、Skywork-OR1）较为常见。复现难度较低。满分。
产品化成熟度： ★★★★✰
REVES 提供了一个实用的训练范式，尤其适合那些在测试时可以利用反馈的场景（如代码生成、数学解题、约束优化）。但需要注意，对于无法获得外部验证信号的任务（如开放文本生成），REVES 的验证提示训练无法直接应用，需要调整。直接产品落地还需考虑任务特定反馈的构建成本。四星。
可能的问题： 论文主要依赖公开测试用例或确定性验证器来获取反馈，在现实场景中，高质量的验证器可能并不总是可用。此外，REVES 在训练阶段需要生成成功轨迹，如果模型初始能力很弱，可能导致很少的成功轨迹，数据增强效果受限（但迭代可以缓解）。对于需要极长修正链的复杂推理，SR 本身的效率可能成为瓶颈。
主要参考文献
[1] Liu et al. REVES: REvision and VErification–Augmented Training for Test-Time Scaling. arXiv:2606.18910, 2026. [2] Madaan et al. Self-Refine: Iterative Refinement with Self-Feedback. NeurIPS 2023. [3] Shinn et al. Reflexion: Language Agents with Verbal Reinforcement Learning. NeurIPS 2023. [4] Inoue et al. AB-MCTS: Adaptively Behaved MCTS for LLM Reasoning. 2025. [5] Lee et al. Mind Evolution: Evolutionary Search for LLM Reasoning. 2025. *本文仅代表个人理解及观点，不构成任何论文审核或者项目落地推荐意见，具体以相关组织评审结果为准。欢迎就论文内容交流探讨，理性发言哦～ 想了解更多原文细节的小伙伴，可以点击 "阅读原文"， 查看更多原论文细节哦！
大模型也会犯错，但学不会”纠错”才是真短板！REVES把错题变成宝藏，让AI迷上修正与验证。
欢迎加入龙哥读论文粉丝群，
扫描下方二维码或者添加龙哥助手微信号加群 ：kangjinlonghelper。
一定要备注：研究方向+地点+学校/公司+昵称（如 大语言模型+上海+西北大学+小张） ，根据格式备注，可更快被通过且邀请进群。
『龙哥读论文』微信群目前包含：图像处理、大模型及智能体、自动驾驶及机器人、AI医疗及AI金融5个群
![公式：J_OneShot(θ) = E_{x~X, y~πθ(·|x)} [r*(x,y)]](/PaperDaily/assets/20260620-166ab0b3bd1c/9c5f8f6a020c6ae57ba8.png)
![公式：J_φ(θ) = E_{x~X, (s1:τ,y1:τ)~(πθ, φ)} [r*(x,y_τ)]](/PaperDaily/assets/20260620-166ab0b3bd1c/c10189388560f6b7e22f.png)
![公式：J_φ_SR(θ) = Σ_{t=1}^K E[1{τ≥t} V_π(z_t)] = E[Σ_{t=1}^τ V_π(z_t)] = Σ_z ρ_θ(z) E[r*(x,y')]](/PaperDaily/assets/20260620-166ab0b3bd1c/b2c2bd89a86c295c61f3.png)
