伯克利Sergey Levine团队长程推理强化学习：8步任务提速19.7倍

龙哥导读

长程推理强化学习最尴尬的地方，不是模型不会做，而是它走了九十九步、最后一步算错，训练系统仍可能只给零分。伯克利Sergey Levine团队提出渐进式进度点匹配方法（PPM），想把这种“只看最终答案”的奖励改成沿途可见的进度路标。论文最抓人的结果是：任务链从2步拉到8步时，相对稀疏结果奖励的训练提速从1.8倍扩大到19.7倍；在普通奖励几乎学不动的数学题上，中间进度仍能给模型可用信号。它不是简单奖励“过程写得像不像”，而是在回答一个更难的问题：怎样给部分进展记功，又不把模型锁死在参考答案的原路线里。

先想一个现实场景。一个智能体连续查资料、写代码、运行工具，已经完成需求拆解和大半逻辑，却在最后一次调用里写错参数。若奖励只看终点，这条轨迹和从第一步就胡说八道的轨迹可能同样得到零分。

问题来了：怎样让训练系统看见“已经走对了多少”，又不把参考步骤变成唯一答案？给每一步人工打分当然可以，但成本高、标准难统一；让另一个模型判断每句话对不对，也可能把“看起来合理”误当成“真的更接近任务成功”。PPM的价值，就在于把部分奖励重新绑定到目标进展，而不是绑定到语言表面的漂亮程度。

01｜为什么长链任务会把最终奖励越拉越稀

许多大语言模型强化学习方法沿用一个直观套路：模型生成完整答案，验证器检查最终结果，答对给一分，答错给零分。这个设计有两个优点。第一，终局答案通常比中间推理更容易自动验证；第二，它不规定模型必须怎样思考，只要最后成功即可，因此不会天然限制探索路径。

短题上，这套方法还能工作。可一旦任务由很多子问题串起来，成功概率会近似连乘。假设每一环有八成概率做对，2步全对的概率是64%，8步全对只剩约16.8%；若每环只有五成把握，8步全对更会跌到约0.39%。模型采样大量轨迹，绝大多数都拿不到正奖励，策略梯度只能在噪声里找方向。

论文用信噪比解释这一现象。稀疏结果奖励的梯度信噪比会随任务长度指数恶化；换句话说，任务链每增加几步，训练可能不是线性多花一点数据，而是要成倍、甚至指数级增加采样，才能看到足够多的成功轨迹。长程任务真正缺的不是更响亮的终局掌声，而是沿途可区分的学习信号。

图1｜论文方法总览。上方的稀疏结果奖励保持目标正确，但长链成功轨迹极少；中间的朴素过程奖励能给路标，却可能把次优提示变成必须照抄的路线；下方的PPM按到达的进度点记功，并允许模型通过不同路径抵达目标。

02｜PPM的核心直觉：把参考答案压成“进度路标”

PPM先把参考推理轨迹拆成若干“推理点”。推理点不是要求模型逐字复述的句子，而是后续求解依赖的中间状态。例如几何题可把“建立坐标”“确定方向”“推出系数关系”“得到最终数值”视作四个进度点。不同证明只要得到同一个关键引理，后续就能从相同状态继续。

论文把当前轨迹已经抵达的参考推理点数量记作ϕ。若第一段只完成了坐标表示，ϕ可能从0变成1；第二段又确定方向，ϕ从1变成2。某一段的奖励，就是新前缀相对旧前缀增加了多少进度，即本段奖励＝新进度点数量－旧进度点数量。没带来新进展的段落拿不到额外奖励，跨过多个关键点的段落则获得更高信用。

这里有个重要区别：PPM匹配的是“是否抵达某个推理状态”，不是“文字是否像参考答案”。模型可以用另一种代数变形、另一条证明路线，甚至跳过参考解中的绕路，只要后续状态说明它已经掌握对应结论，就能继续积累进度。它比监督微调更松，也比只看终点更密。

可以把它理解成登山。监督微调像要求所有人沿教练脚印走；最终奖励像只在山顶盖章，中途走了九成也算零；PPM则在关键垭口设置路标。登山者可以从东坡或西坡到达同一垭口，但每经过一个关键位置，训练系统都知道它离目标更近了。

03｜最难的一刀：部分奖励不能把模型带向次优路线

朴素过程奖励有一个隐患：参考解本身未必最短、最优，甚至可能包含多余步骤。若系统对每个参考步骤逐项发奖，模型为了多拿分，可能故意照着次优路线绕远。最后它在过程分上很好看，却偏离真正关心的任务成功率。

PPM用“推理图”和“捷径认定”处理这个问题。推理点之间存在先决关系：如果后面的点已经到达，依赖它之前那些点就视为已经被覆盖；一旦模型成功到达目标，所有必需的中间点都得到完整信用。这样，直接走捷径成功的轨迹不会因为少写几个参考步骤而吃亏。

论文给出一个关键结论：在存在几乎必然到达目标的策略时，PPM奖励与稀疏结果奖励拥有相同的最优策略集合。直觉上，分段奖励会望远镜式相消，整条轨迹最终得到的总奖励等于终点累计进度；成功抵达目标时取得最大值，失败轨迹只能获得部分分。它改变的是学习信号的密度，不是任务成功的最高标准。

04｜训练时到底怎么做：采样、切段、量进度、更新策略

算法并不神秘。第一步，从当前策略采样完整轨迹；第二步，按自然轮次或等长区块把轨迹切成若干段；第三步，对每个“从开头到当前段”的前缀计算PPM进度；第四步，用相邻前缀的进度差得到分段奖励；第五步，把这些奖励转成词元级优势，再接到现成的策略梯度算法上更新模型。

输入：当前策略、每道题的一条参考轨迹
重复：
  用当前策略采样一条新轨迹
  按轮次或等长区块切成多个片段
  对每个轨迹前缀计算已到达的推理点数量
  用相邻前缀的进度差作为片段奖励
  将片段奖励转换为词元优势
  通过策略梯度更新模型
直到训练收敛

决定效果的不是“切段”两个字，而是切段后每一段能拿到不同优势。传统群组相对策略优化常把整条轨迹共享一个优势值：最后答错，前面所有词元一起背锅；分段PPM则能把“这一段确实推进了进度”和“下一段开始跑偏”分开。信用越靠近真正发生贡献的位置，策略更新的方向通常越清晰。

PPM并不替代整个强化学习框架。它可作为奖励改造，接在近端策略优化或群组相对策略优化之上。团队不必重造优化器，但要新增参考轨迹、推理点抽取、进度判断和分段计算。工程复杂度转移到了“怎样稳定识别进度”。

05｜理论为什么看好它：任务越长，差距反而越大

论文构造了两类互补任务。多重倒计时要求独立完成若干算术子题，像同时过多个并列关卡；矩阵操作要求顺序执行旋转、翻转和逐元素变换，后一步依赖前一步，像一条不能跳步的流水线。两者分别覆盖“子任务较独立”和“子任务高度相关”的极端。

理论分析显示，稀疏奖励的信噪比随着推理点数量增加而指数下降；轨迹级部分奖励虽然比零或一更细，但仍把整条轨迹压成一个分数；轮次级PPM则把多个局部进展分开，最差也能明显缓解长链带来的信号坍缩。在独立子任务上，更多推理点甚至意味着更多相互独立的有效梯度来源。

这不是说任务越长越容易，而是说PPM相对于最终奖励的优势会随任务长度放大。短题里，最终奖励本来就不算稀，额外系统未必值回成本；长题里，终局成功越来越罕见，沿途进度的价值才迅速上升。这一判断对智能体很重要：如果任务只需要两三步调用，复杂信用分配可能过度设计；如果任务跨几十次工具交互，它可能决定训练是否还能启动。

图2｜多重倒计时结果。横轴是任务链长度，曲线比较稀疏结果奖励、轨迹级PPM与轮次级PPM；任务从2步增加到8步时，PPM相对稀疏奖励达到65%成功率所需训练量的优势从1.8倍扩大到19.7倍。

06｜第一组结果：8步任务为什么能拉开19.7倍

在多重倒计时中，论文用千问3的17亿参数模型训练；在矩阵操作中，用千问3的40亿参数指令模型训练。每个交互轮次给512个思考与回答词元，优化器和主要超参数尽量保持一致，让差异集中在奖励设计上。进度点由任务的符号结构直接判断，因此这里暂时不混入复杂的模型裁判误差。

图2中最醒目的数字不是单个最终准确率，而是达到65%成功率需要多少训练词元。任务长度为2时，轮次级PPM相对稀疏奖励约快1.8倍；长度为4、6、8时，优势依次扩大到3.5倍、8.7倍和19.7倍。稀疏奖励在8步任务上需要约7.01亿训练词元，而PPM把有效学习明显提前。

为什么差距会扩大？因为稀疏奖励必须等八个子题全部正确才给正信号，任何一处失败都会把整条轨迹归零；轮次级PPM则能告诉模型前五个子题已经通过，第六个开始出错。前五段的正确策略不会被最后三段一起抹掉，后续训练能更集中地修复薄弱位置。

这一实验仍是受控环境，不等于真实代码智能体也会直接提速19.7倍。真实任务的推理点更难定义，工具失败还会引入环境噪声。但它清楚证明了一个机制：当最终成功必须跨过多个可识别关卡时，把信用放回关卡附近，训练效率可以随任务长度出现数量级差异。

07｜从规则任务走向开放推理：裁判模型成了新瓶颈

在Countdown里，某个算式是否得到目标数可以精确验证；开放数学推理却没有现成标签告诉系统“当前前缀已经到达第几个关键点”。论文的做法是把参考解转换成推理点，再让一个裁判模型判断采样轨迹是否覆盖这些点。

这一步引入了真实成本。裁判要多次读取越来越长的轨迹前缀，还要对多个推理点逐项判断；若切成四段，一条轨迹至少产生四次前缀评估。训练模型越大、轨迹越长、采样越多，裁判推理的账单和延迟越值得单独测量。PPM节省的训练样本，不一定等于同样比例的总算力节省。

裁判还可能判断错。论文没有只用“看起来合理”的提示，而是提出校准办法：给策略逐步增加参考前缀，观察后续蒙特卡洛成功率是否随PPM进度大致线性上升。定制提示得到0.856的Kendall秩相关，高于标准量规提示的0.768。这说明提示设计确实影响进度分与真实成功概率的对齐。

但0.856仍不是完美一致。若裁判偏爱某种表述、漏掉等价证明或把错误中间量当成已完成进度，奖励就会带偏策略。工程上不能只测裁判“能不能输出分数”，还要准备一小组人工检查轨迹，专门寻找进度分与实际可续解概率不一致的案例。

08｜无限小学数学推理表格：越难的题，分段信用越关键

无限小学数学推理评测方法（GSM-Infinite）可以生成推理图长度逐步增加的数学题。论文用千问3的17亿参数模型训练，并比较稀疏结果奖励、无验证器推理奖励、在策略自蒸馏、过程奖励、轨迹级PPM与分段PPM。表1记录训练4亿词元后的成功率，难度用推理图长度n表示。

表1｜无限小学数学推理基准在4亿训练词元后的成功率。n越大表示推理链越长；n=24时，分段PPM为0.191，轨迹级PPM为0.089，稀疏结果奖励为0.091，其他过程或蒸馏基线为0.078至0.098。

容易档n=8里，无验证器推理奖励达到0.828，分段PPM为0.652，并不是每个难度都第一。PPM的卖点不是短题全面碾压。题目还能频繁得到完整成功时，其他方法也能拿到充足信号，额外分段不一定占优。

难度来到n=16，分段PPM升到0.415，轨迹级PPM为0.334，稀疏奖励只有0.084；到了n=24，分段PPM仍有0.191，轨迹级PPM和稀疏奖励分别是0.089与0.091。越接近“完整答案极难采到”的区域，分段奖励越能把失败轨迹里的有效进展救回来。

表1还揭示了轨迹级与分段级的差别。轨迹级PPM知道一整条答案完成了多少推理点，却仍把同一个总分广播给所有词元；分段PPM进一步定位“哪一段让进度增加”。n=24时两者相差超过一倍，说明只把零分改成0到1之间的软分还不够，信用落点同样关键。

09｜Polaris数学表格：训练8K，测试16K，优势并非处处第一

第二张关键表使用千问3的40亿参数模型，在Polaris数学数据上以8K词元预算训练，再用16K词元预算测试，并报告单次通过率和八次采样至少一次成功的概率。这里更接近现实中的“训练时回答较短，部署时给更多思考预算”。

表2｜千问3的40亿参数模型在Polaris数据上用8K预算训练、16K预算评测。PPM训练集单次与八次通过率最高，测试集单次通过率0.459；不同外部测试集上，各方法各有胜负，结果更适合解读为稳定竞争力而非全面统治。

PPM在训练集上的单次通过率0.258、八次通过率0.452，均为表中最高；测试集单次通过率0.459，高于基础模型0.416和群组相对策略优化0.441，但略低于无验证器推理奖励的0.461；测试集八次通过率0.807，也不是最高，过程奖励达到0.832。

2025美国数学邀请赛上，PPM的单次通过率0.535，低于无验证器推理奖励的0.569和群组相对策略优化的0.560；2025哈佛—麻省理工数学竞赛上，PPM的单次通过率0.379为最高，八次通过率0.598与自蒸馏0.597接近。表格没有给“所有列都是PPM第一”的爽文结果，反而更能看出方法定位：它在长预算外推和困难样本上提供稳定信号，但不是对所有数据分布、所有指标都自动占优。

这也是阅读强化学习论文时必须保持的克制。训练集进步、测试集进步、竞赛题进步和多次采样进步是四件不同的事。对产品团队而言，应该先确定部署真的关心单次成本，还是允许多次采样；关心平均题，还是最难题。方法价值必须放进实际推理预算里算。

10｜近乎不可能的题：零成功率时，模型还能从哪里学

论文还构造了一组近乎不可解的数学题。筛选条件非常严：千问3的40亿参数指令模型在8K预算、每题16次尝试下仍没有一次成功。整个集合在8K预算的基础通过率约0.004，在4K预算时为零。对纯最终奖励而言，这几乎意味着训练开局没有任何正样本。

PPM仍能利用“抵达中间点”产生信号。论文在16K测试预算下比较后发现，4K训练的PPM单次通过率3.9%、八次通过率14.8%；8K训练的PPM单次通过率3.5%、八次通过率12.5%。最佳特权在策略探索基线的对应数字为1.2%和6.3%。绝对值不算高，但从零奖励区间里学出非零成功率，本身就是关键变化。

更反常识的是，4K训练反而优于8K训练。作者观察到，8K训练策略更容易过早猜答案并结束推理，输出长度发生坍缩；4K预算根本没有完成整题的压力，全部奖励都来自中间进展，因此更愿意持续探索。给模型更多训练长度不一定更好，长度压力可能诱导它贪心收尾。

这提示出三个训练区域：预算太短时，模型只能最大化部分进展；预算适中时，可能为了赶在限制内完成而过早猜答案；预算足够长时，才有空间稳定追求终局成功。实际部署不能只调奖励，还要把训练长度、题目难度、数据混合和测试预算一起设计。

11｜与三类信用分配方法放在一起看

第一类是过程奖励模型。它逐步判断推理是否正确，优点是直观，缺点是“局部正确”不总等于“更可能完成任务”。一个步骤逻辑没错，却可能与目标无关；另一个步骤表述不标准，却可能跨过关键难点。PPM把评价中心从局部正确性移到目标进度，更贴近最终任务。

第二类是监督微调和在策略自蒸馏。它们从参考轨迹学习动作分布，能够快速模仿高质量答案，但容易把参考路径的写法、顺序和风格一并学进去。PPM只把参考轨迹当作提取进度点的特权信息，策略仍在自己的采样分布上探索，因此更有机会找到参考解之外的捷径。

对工程团队，三类方法不是只能选一个。可以用任务结构定义少量高价值进度点，用裁判判断是否抵达，再在每个片段内部做更细的词元信用分配。真正需要防止的是奖励系统越来越复杂，却没有测量每一层新增监督究竟带来多少训练收益、多少额外算力和多少偏差。

12｜四个现实限制：参考轨迹、裁判成本、规模与迁移

第一，PPM需要参考轨迹。一条参考轨迹比大量逐步人工标签便宜，但它仍不是免费的。对不可验证、没有标准解、目标不断变化的任务，参考轨迹可能本身就难获得；如果参考解遗漏关键分支，推理点也会带着偏见。

第二，进度裁判可能成为成本中心。论文在开放数学任务中使用外部模型判断进度点，并用更强模型生成部分参考解与推理图。训练模型每采样一次，裁判还要反复读取前缀。若节省了两倍策略采样，却增加了四次长上下文裁判调用，总成本未必下降。

第三，实验规模仍偏研究型。主要模型是千问3的17亿与40亿参数版本，任务集中在合成环境与数学推理。论文自己也指出，还需要更大模型、更大数据和更长的多轮交互、代码智能体任务，才能验证参考轨迹能否在复杂开放环境里继续扩展。

第四，推理点不等于真实世界状态。数学题里“得到某个中间量”相对清晰；代码智能体里，打开文件、修改代码、测试通过、部署成功之间可能有环境回滚、隐藏状态和不可逆副作用。若只从文本轨迹判断进度，系统可能奖励“声称完成”而不是“远端状态真的完成”。

因此，把PPM迁移到工具智能体时，最稳妥的做法不是让裁判纯读文字，而是把可验证状态也纳入进度点：文件是否存在、测试是否通过、接口是否返回目标结构、远端对象是否可回读。语言判断负责解释难以结构化的部分，确定性检查负责锁住事实。

13｜对研究与产品团队意味着什么

第一，先找“最终奖励接近零”的任务，不要在短题上盲目加系统。如果当前训练已经频繁采到成功轨迹，最简单的结果奖励往往更便宜。PPM最可能产生高回报的区域，是任务链长、成功率低、但中间状态可以验证或近似判断的场景。

第二，把进度点设计成“后续可继续”的状态，而不是作文提纲。好的进度点应该压缩此前推理，让多种路径在这里汇合；坏的进度点只是参考答案的一句话，模型换个说法就识别不到。设计时要问：一旦到达这个点，后续求解是否真的拥有了新的充分信息？

第三，单独核算裁判开销。训练报告应同时给策略采样词元、裁判词元、参考轨迹生成成本、端到端墙钟时间和最终效果。只报告“减少多少训练词元”，可能掩盖奖励生成端的计算迁移。

第四，长度预算必须与奖励一起调。近乎不可解题集实验已经显示，中等长度压力可能让模型贪心猜答案。团队需要画出“训练长度—输出长度—中间进度—最终成功率”四条曲线，而不是默认更长上下文总能提高强化学习质量。

14｜龙哥点评

龙哥觉得，这篇论文真正解决的不是“再造一个奖励模型”，而是提出了一种更工程化的长链训练观：失败轨迹不是废料，关键是能否把其中真实推进任务的部分提取出来，并把信用还给对应动作。这个问题在数学题里已经很重要，在多工具智能体里会更重要，因为一次完整成功的成本可能远高于一次局部正确尝试。

最值得肯定的有三点。第一，理论和实验都围绕任务长度展开，不只报一个平均分；第二，论文主动展示PPM并非每一列第一，短题与不同外部测试集上其他方法仍有优势；第三，近乎不可解题集暴露了长度压力导致贪心结束的反结果，没有把“更长训练”包装成单调收益。

关键不足也很现实。外部裁判模型与参考轨迹生成会带来偏差和成本，当前主要验证仍是小中型模型、合成任务与数学数据；真正困难的代码智能体和开放工具环境，还需要把文本进度与可验证系统状态结合。若奖励只看语言表述，模型可能学会“像完成了”，而不是真的完成。

所以龙哥不会把结论写成“PPM取代群组相对策略优化”或“过程奖励过时”。更准确的判断是：当完整成功极少、任务存在可识别的中间状态、又希望保留多路径探索时，PPM是值得优先测试的信用分配层。它应与现有优化器、确定性验证器和成本核算一起使用，而不是独立成为新的万能标签。

从更长远的角度看，大模型的在线学习要真正进入复杂工作流，训练系统必须学会区分三类轨迹：完全无效、局部推进、最终成功。只会区分成功与失败，就像管理者只看项目是否上线，不看需求、设计、测试和回滚过程。PPM至少把“局部推进”从灰色地带里捞了出来。

15｜龙迷三问

第一问：PPM会不会变相让模型抄参考答案？
它确实依赖参考轨迹，但奖励的是推理点而非逐词匹配，并通过捷径机制承认不同路径。是否真的摆脱模仿，取决于推理点是否足够抽象、裁判能否识别等价状态；若推理点只是参考句子的改写，仍可能退化成软模仿。

第二问：为什么不直接训练一个价值模型预测最终成功率？
价值模型也能提供部分信用，但需要学习额外函数，并面临分布外误差。PPM利用每题参考轨迹构造进度，不必单独拟合完整价值函数；代价是需要设计推理点和调用裁判。哪种更划算，要看任务结构、参考解供给和裁判成本。

第三问：下一步最关键的实验是什么？
是在长程代码智能体或多工具任务中，把进度点绑定到真实系统状态，比较纯结果奖励、文本裁判PPM和“文本裁判＋确定性检查”三种方案的端到端成本、成功率、回滚率与泛化。只有在这些开放任务上仍能降低总成本，PPM的影响才会从数学推理扩展到实际生产。

16｜总结：别只问有没有到终点，也要问已经走对了多少

PPM从一条参考轨迹提取有顺序关系的推理点，用轨迹前缀新增的进度作为分段奖励，再把信用传给真正推动进展的词元。捷径机制保证成功到达目标时获得完整信用，使最优策略不必照抄参考路线。

实验给出的主线很一致：短任务里，PPM不保证全面领先；任务越长、完整成功越少，分段进度越重要。8步多重倒计时达到19.7倍训练提速，无限小学数学推理最难档把成功率从稀疏奖励的0.091提高到0.191，近零成功率数据上也能从中间进度启动学习。

它的代价同样清楚：参考轨迹、推理点抽取、长前缀裁判、提示校准与错误审计都会增加复杂度。未来真正有价值的实现，不是把所有判断交给另一个大模型，而是让语义裁判与确定性状态验证协同工作。

对小白读者，最后记住一句就够：如果一项任务要走很长的路，训练系统不能只在终点说“对”或“错”，还要看懂哪些路段已经真正缩短了到目标的距离。这正是PPM最值得关注的地方。

主要参考资料

本文基于龙哥读论文PaperDaily数据库及PaperMiner的MCP进行汇总整理。本文为论文解读与个人学习笔记，不构成任何论文审核意见，及对产品能力、安全性或商业可用性的保证。