清华大学、麻省理工韩松团队与NVIDIA提出并行推理：平均加速约1.7倍

龙哥导读

大模型已经会“想很久”，但想得越久，等待越长。Parason没有继续追求更长的一条思维链，而是让模型主动分清：哪些工作可以分头完成，哪些不确定路线应该同时试。论文在数学推理上给出约1.7倍平均加速，同时保住竞争力相当的准确率。真正值得看的是，它把“并行”从推理服务器的外部技巧，推进成模型自己会生成、奖励函数会鼓励、执行器能落地的结构。

一个现实问题是：模型如果要检查五种解法，为什么一定要先完整写完第一种，再写第二种？人类团队遇到难题，往往会让几个人同时尝试，最后再汇总。大模型却通常像一个人排队写草稿，计算资源明明很多，关键路径仍被自回归生成锁成一条长队。

Parason研究的正是这条长队。论文把可并行推理拆成两种语义完全不同的结构：子任务并行负责“分工”，试验并行负责“试错”。前者要求各分支都交作业，后者只需要至少一条路走通。把这两种情况混为一谈，模型就容易生成看似分叉、实际互相依赖的伪并行。

图1来自原论文。左侧是子任务并行：不同分支完成不同子目标，最终需要合并全部结果；右侧是试验并行：多个候选路线竞争，只要找到一条有效路径即可。

一、为什么“多想几条”不等于真正并行

最直观的做法是多采样：同一道题一次生成很多答案，再投票或交给评分器选择。它确实能提高命中率，却有两个浪费。第一，多条轨迹可能重复同一个错误套路；第二，每条轨迹内部仍然串行。线程数量增加了，最长那条关键路径没有被重新设计。

另一类方法会先拆任务，例如把长报告分成检索、计算、核验和写作四块。这是子任务并行。它适合目标和分工已经清楚的问题，却不适合“根本不知道哪种方法有效”的情况。面对陌生数学题、代码故障或工具调用失败，真正昂贵的部分常常不是拆已知步骤，而是同时验证几个互相竞争的假设。

论文分析开放数学数据集与“人类最后的考试”中的推理轨迹后发现，试验并行不是少数例外。在其标注口径下，深度求索R1在“人类最后的考试”可并行步骤中，试验并行占73.8%；深度求索V4为65.5%。到了更难的问题，试验分支的比重还会继续上升。难题的核心经常不是“把计划切成几块”，而是“同时试几条还不知道能否走通的路”。

图2展示一道24点推理轨迹。蓝色文字是可以拆开的子任务，绿色文字是围绕不同算式路线的试验。图中大部分推理token落在试错分支，而不是固定分工。

这也解释了一个常见误区：只看总token数，会低估并行价值。四个分支各写1000 token，总计算量还是4000 token；但如果四个分支同时跑，等待时间更接近最长分支的1000 token，再加调度与汇总开销。Parason因此把“token级延迟”定义为关键路径长度，而不是所有分支token的简单求和。

二、Parason如何把自然语言变成可执行的并行程序

模型不能只写一句“请并行处理”。执行器需要知道哪里开始分叉、每个分支属于什么类型、何时结束、后文如何汇总。Parason先用一种上下文无关语法，把普通顺序推理改写成结构化轨迹。最外层有并行区域，区域内先列提纲，再给多个线程；线程还可以嵌套新的并行区域。

子任务标签表达“全部满足”关系：所有分支结果都要进入答案。例如分别计算四个区间的和，缺任何一个区间都不完整。试验标签表达“至少一个成功”关系：每个线程尝试不同假设，成功分支最重要，但其他分支的内容仍可保留给最后综合，避免模型重复踩坑。

图3是原论文把24点推理改写成Parason格式的示例。蓝色提纲先拆出三个子任务，绿色区域再为每个子任务并行尝试候选算式；第二个子任务的第一条试验找到正确解。

这种表示有三个工程好处。第一，它是文本格式，能继续用现有语言模型训练，不需要把模型改成特殊图网络。第二，语法可以被解析，服务端知道哪些线程能同时派发。第三，嵌套结构允许模型先分工、再在某个子任务内部试错，或者先试几套总方案，再把某套方案继续细拆。

但结构化轨迹不能凭空产生。团队先把顺序推理转成候选并行轨迹，再用监督微调教模型学会格式。问题在于，监督微调只会模仿“长得像并行”的文本，不保证它真的更快，也不保证分支值得计算。于是论文加入第二步：面向并行性的强化学习。

三、奖励函数：先答对，再惩罚关键路径，再奖励有用分支

Parason使用并行感知组相对策略优化。可以把核心奖励读成四笔账：答案是否正确、关键路径是否够短、子任务分支比例是否合理、试验分支比例是否合理，另外再给可执行加速一个封顶奖励。

其中，R是当前轨迹的最终奖励；正确性指示器决定答案错误时直接落到负基础分，防止模型为了“看起来很并行”牺牲答案；T是关键路径token数，α控制延迟惩罚；βsubtask与βtrial分别控制两种并行结构的激励；均值和标准差负责把同一组样本的信号标准化。

这个设计最重要的顺序是：正确性仍是第一目标，并行只是对正确轨迹做形状优化。否则模型最容易钻的空子，是生成大量极短、互不相关的分支，把并行比例刷得很漂亮，却没有一条真正解决问题。

子任务奖励与试验奖励也不能用同一个旋钮。论文的消融结果显示，增加试验并行奖励通常更有利于准确率，因为它鼓励模型探索互补路线；增加子任务并行奖励更容易压缩关键路径，因为已知分工更容易被均匀调度。工程上这像两个不同的资源策略：一个购买“解题保险”，一个购买“流水线吞吐”。

四、实验结果：1.7倍不是所有场景都白送

论文在四组数学竞赛与题库基准上比较顺序推理与多种并行系统。主模型为80亿参数规模。作者同时报告最终答案准确率、平均准确率和词元级延迟，并进一步测量真实墙钟时间，避免只在理论词元口径上宣布加速。

原论文表2完整截图。四组数学基准列为准确率，数值越高越好；最右侧平均延迟词元越低越好。表中试验奖励配置提高平均准确率，子任务奖励配置能把平均关键路径压到约1.22万词元。

从表2看，Parason基础监督模型的四项平均准确率为82.2%，平均关键路径约1.32万词元。加入不同并行奖励后，最好平均准确率达到84.7%；一组试验奖励配置在2025年美国邀请数学考试上达到70.6%，另一组在美国数学竞赛上达到97.5%。Math500题库的最好结果为94.6%。

速度方面，论文把相同任务的顺序词元路径与并行关键路径比较，报告平均约1.7倍词元级加速。不同难度分组中，2024年美国邀请数学考试的词元级加速大约保持在1.70至1.74倍。更接近真实体验的墙钟加速低一些，大约为1.38至1.62倍。

这段差值很关键。理论上四个线程同时运行，不代表硬件能无损地同时生成。请求打包、显存、通信、负载不均、短分支等待长分支、工具调用启动时间，都会吃掉收益。Parason证明的是并行结构可以转成真实提速，不是“分支数等于加速倍数”。

准确率与延迟之间也不是单调关系。更强的试验奖励会让模型愿意多试几条路，通常能提高正确率，但会消耗更多总计算和峰值资源；更强的子任务奖励能缩短关键路径，却可能把一个本应整体思考的问题切得太碎。部署时真正要调的是服务目标：交互产品更看重尾延迟，离线科研任务可能更愿意用计算换成功率。

五、与三条相邻路线相比，它补上了哪一环

第一条相邻路线是并行协调推理。它用多轮并行探索、消息传递和上下文压缩，把有效测试时计算推到接近200万词元。其80亿参数模型在2025年哈佛—麻省理工数学竞赛高预算设置达到94.5%，覆盖数学、代码、科学和开放生成。它解决的是“如何在上下文限制之外继续扩大并行探索”，优势是规模与综合能力，代价是极高计算预算。Parason则把注意力放在并行语义与延迟，目标更像把已有计算组织得更短。

第二条路线是自适应并行推理。它给模型“创建线程”和“合并线程”动作，让模型自己决定何时开线程、何时汇总，并通过端到端训练学习搜索结构。论文报告在相同计算预算下80.1%对66.6%，相同延迟下75.2%对57.3%。这条路线强调“让模型控制执行图”，Parason进一步区分分工型与试错型线程，并为两类结构分别设置奖励。

第三条路线是Multiverse。它用映射—归并式内部并行生成训练320亿参数模型，在两组邀请数学考试上分别达到53.8%与45.8%，常见并行区域平均提速18.5%，部分样本最高约2.1倍。Multiverse改造的是生成范式与推理引擎；Parason更接近在自回归模型上显式输出可解析的并行程序。

把三篇工作放在一起看，演进关系就清楚了：Multiverse问“生成能否内部并行”，自适应并行推理问“模型能否学习控制串并行操作”，并行协调推理问“并行测试时计算能否扩到极大”，Parason则问“并行分支到底在做分工还是试错，奖励是否应该区别对待”。这不是简单的跑分替代，而是对同一系统栈不同层次的补充。

六、真正落地时，系统团队要补的四块

第一是调度器。模型输出结构只是计划，服务端还要把线程映射到批处理队列、图形处理器实例或远程工具。分支长度未知时，静态均分容易造成尾部拖延；更实际的方案需要动态批处理、优先级和取消机制。试验分支一旦已有高置信答案，是否提前停止其他线程，会直接影响成本。

第二是上下文管理。论文会把多个试验分支的内容交给后续综合，这能减少信息丢失，却会迅速放大上下文。生产系统可能需要摘要、证据引用或结构化状态，而不是把所有原始token完整拼回去。否则延迟从“生成太慢”转成“预填充太重”。

第三是资源峰值。顺序推理主要占用时间，并行推理会把时间压力换成瞬时并发。平均延迟下降，不代表单位请求更便宜。面向大量用户时，平台必须同时观察图形处理器利用率、峰值显存、队列长度、每个成功答案的总词元和能耗，不能只看单请求墙钟时间。

第四是失败处理。工具调用、代码执行和网页操作不像纯数学分支那样稳定。某个线程超时、返回脏数据或产生副作用时，执行器要知道能否重试、能否取消，以及多个分支是否会重复写入同一外部系统。并行推理进入Agent场景后，幂等性与权限控制会和准确率同样重要。

七、局限：数学题上的结构，不等于开放世界任务已经解决

论文当前证据主要来自8B模型和数学推理。数学题有明确答案，奖励容易验证，分支成功与否也相对清楚。开放式研究、长代码修改、网页操作或商业分析没有天然的0/1正确性，试验分支可能各自提供部分价值，奖励设计会更难。

其次，论文展示的墙钟收益依赖具体执行引擎与并行资源。资源紧张时，多线程会互相排队；批量服务中，单个复杂请求抢占并发，还可能抬高其他用户延迟。最合理的调度策略可能不是“能并行就全并行”，而是根据题目难度、用户时限和当前负载分配分支预算。

再次，结构化语法会增加训练数据制作成本。顺序轨迹如何可靠改写成子任务或试验分支，本身需要判断。错误标签会让模型把依赖步骤误判为独立步骤，得到形式正确、语义错误的执行图。论文提供了有价值的自动化路线，但跨领域数据质量仍是推广门槛。

最后，1.7倍平均加速值得肯定，却还不是数量级突破。它更像一次系统工程上的扎实前进：没有承诺无限并行，而是证明语义分类、训练奖励与执行器协同，可以把一部分长期存在的串行等待真正拿掉。

八、龙哥点评

龙哥认为，Parason最有价值的不是又发明一种并行标签，而是把“推理为什么能并行”讲清楚了。过去很多系统把分支都当成同一种东西，结果指标上有并发，语义上仍然互相等待。区分“全部完成”式分工与“至少一个成功”式试错后，训练目标、调度策略和成本控制才有了共同语言。

最值得肯定的是端到端闭环：轨迹转换负责数据，语法负责可执行表示，并行感知组相对策略优化负责训练偏好，工具调用执行器负责把词元收益换成墙钟收益。只做其中一环，都容易停在漂亮示意图。论文同时报告词元级和真实墙钟加速，也避免把理论关键路径直接包装成用户体验。

关键不足也很明确：当前最强证据仍在可验证数学任务，开放式Agent任务缺少成熟奖励；峰值资源和总成本没有被“平均延迟”自动解决。对工程团队而言，采用它之前应先挑一类分支可隔离、结果可验证、外部副作用可控的任务，例如候选解并行验证，而不是直接把整个生产Agent改成无限开线程。

龙哥的判断基线是：如果并行只降低单请求等待，却让总token、失败重试和资源峰值失控，它还不是可部署的效率提升；只有延迟、正确率、总成本和副作用一起可观测，才算真正落地。

九、龙迷三问

第一，什么任务最适合先用？答案可自动验证、分支互相隔离、试错路线天然多样的任务最合适，例如数学候选解、代码测试方案、检索证据核验。强依赖共享状态的长流程，应先解决并发写入与回滚。

第二，模型越大，加速会不会越高？不一定。大模型可能更会规划分支，也可能让每个分支更贵。加速取决于可并行比例、最长分支、执行器效率和硬件并发，不是参数规模的单变量函数。

第三，它会不会让推理成本更低？论文主要证明延迟下降和准确率保持。总token可能不降，试验并行甚至可能增加总计算。真正的成本优化需要早停、预算控制、缓存和负载感知调度一起参与。

十、从一次请求看懂并行收益如何产生

假设一个顺序推理要走四段：先理解题意1000 token，再依次尝试三条路线，每条2000 token，最后汇总1000 token。顺序执行的关键路径约8000 token。如果三条路线彼此独立，理想并行路径会变成“理解1000 + 最长试验2000 + 汇总1000”，也就是4000 token，理论上接近两倍加速。

现实不会这么整齐。三条路线可能分别需要1200、2000和3500 token，最长分支会把关键路径拖到5500 token；执行器还要等待线程启动、传输上下文、重新批处理和汇总。于是理论两倍往往落到一倍多。Parason报告的token级约1.7倍、墙钟约1.38至1.62倍，正符合这种“结构收益减去系统摩擦”的直觉。

子任务并行的收益更容易预估，因为所有分支都必须完成，关键路径基本由最长子任务决定。试验并行则多一个选择：如果第一条路线已经给出可验证答案，系统可以取消其余线程；如果答案不可自动验证，就只能等更多分支互相佐证。是否具备廉价验证器，往往决定试验并行是省钱还是烧钱。

因此，产品设计不应只给模型一个固定线程数。更合理的接口应同时传入延迟预算、总token预算、最大并发、答案验证方式和取消策略。简单题只开一条路，困难题再扩大试验宽度；高峰期压低并发，空闲时用更多分支换成功率。这才是把论文机制变成服务策略。

十一、复现时应该重点检查什么

第一，先复现“语义正确的分支”，再追求速度。可以抽取几十条模型轨迹，人工检查子任务分支是否真的需要全部完成、试验分支是否只需至少一个成功、线程之间是否偷读了尚未产生的结果。如果标注语义错了，即使解析器和多线程运行完全正常，测到的也只是错误程序跑得更快。

第二，分别记录总token、关键路径token和墙钟时间。总token回答成本问题，关键路径回答理论并行度，墙钟时间回答用户体验。三者缺一不可。只报总token会看不到并行收益，只报关键路径会忽略调度开销，只报墙钟时间又难以判断瓶颈来自模型还是基础设施。

第三，把准确率按题目难度和分支类型拆开。容易题上多开线程可能纯属浪费；极难题上试验并行可能提高探索覆盖，却也可能让大量分支共同失败。论文已经展示难度变化会影响并行结构，生产测试还应进一步观察哪些输入特征能预测“值得开几条线程”。

第四，做资源隔离测试。单请求加速不应建立在挤占其他用户的基础上。至少要测不同批量、不同并发、显存压力和队列长度下的P50、P95延迟，并记录失败取消后是否释放资源。对于会调用外部工具的Agent，还要验证重复请求不会造成重复付款、重复提交或重复写文件。

十二、这项工作对模型训练与推理基础设施意味着什么

对训练团队来说，并行能力不再只是提示词格式，而是一种可优化行为。训练数据需要包含“何时分叉、为什么分叉、分支如何合并”的监督，奖励模型需要辨别有效探索和无效复制。未来的数据质量标准可能不只看答案是否正确，还要看推理图是否具有可执行性和资源效率。

对推理平台来说，模型输出开始接近一个动态任务图。传统服务主要调度请求和token批次，未来还要调度请求内部的分支，并在不同用户、不同线程之间做公平性控制。调度器需要理解模型语义，但又不能完全相信模型；语法验证、权限沙箱和预算守卫会成为必要组件。

对Agent开发者来说，Parason提供了一个很实用的设计提醒：不要把所有并发都包装成“多智能体”。许多任务只是同一模型的多个可取消试验线程，并不需要复杂角色设定、长期记忆或自由对话。把问题准确建模成分工、试错、验证和汇总，往往比增加角色数量更重要。

对普通用户来说，最直接的变化可能不是答案更长，而是复杂任务等待时间缩短。代码助手可以同时尝试几种补丁并跑测试，研究助手可以并行核对几条证据链，规划助手可以同时评估多个约束方案。不过，只有当平台公开成本、可取消性和结果来源时，这种速度提升才不会变成隐藏的计算浪费。

十三、总结与展望

Parason给出了一条很务实的路线：不要求大模型停止自回归生成，而是让它学会输出可执行的并行结构；不把所有分支混成一个指标，而是分别奖励子任务分工和不确定路线试错；不只算理论token，还把结构送进执行器测墙钟时间。

这项工作把问题从“模型能不能想更久”推进到“模型能不能组织更多计算者同时想”。如果后续能在代码代理、研究代理和工具调用中建立可靠奖励，并把总成本、峰值资源、取消和幂等纳入训练与调度，那么并行推理可能会成为下一代Agent系统的基本能力，而不只是数学基准上的加速技巧。

主要参考资料

本文基于龙哥读论文PaperDaily数据库及PaperMiner的MCP进行汇总整理。本文为论文解读与个人学习笔记，不构成任何论文审核意见，及对产品能力、安全性或商业可用性的保证。