麻省理工学院韩松团队推理能力编织：准确率提升同时少用9.6%令牌

龙哥导读

推理模型常见的两难是：多想几步，答案更稳，但令牌和延迟一起上涨；强行少想，账单降了，正确率也可能跟着掉。Lightning Weave 没有重新训练一个“既聪明又节俭”的全能老师，而是把准确型模型学到的变化、效率型模型学到的变化拆出来，再编织进同一个学生。最亮眼的一项结果是：新一代千问4B模型在现场代码基准第五版上从 41.7% 提升到 54.2%，同时平均响应令牌减少 9.6%。

如果两个老师意见相反，一个总劝学生“再推一步”，另一个总提醒“别绕圈”，学生到底该听谁？传统做法很容易变成轮流上课：上午学准确，下午学简洁，最后一次训练往往盖住前一次；或者把两种数据混在一起，期待参数自己消化冲突。Lightning Weave 的关键变化，是不再直接混合老师的答案，而是混合“老师经过专项训练后，行为发生了怎样的偏移”。

这项工作来自麻省理工学院与英伟达。论文署名中包含韩松，麻省理工学院韩实验室官网也把第一署名研究者列为韩松指导的博士生，并收录了 Lightning Weave 项目。因此，称它为“麻省理工学院韩松团队”的工作有明确的一手依据。韩松长期研究高效人工智能计算，从模型压缩、量化到大模型推理加速，这次把“效率”从硬件和参数层继续推进到推理行为的组合层，研究路线是连贯的。

论文图1：左侧分别用“专项训练后模型减去训练前模型”提取准确能力与效率能力；中间把两种能力编织进学生；右侧红线展示在相同训练预算下可调的准确率—令牌前沿。

一、真正的问题不是“压缩思维链”，而是两种目标会打架

推理效率研究经常从结果长度入手：给长度惩罚、设置令牌预算、提前终止低价值轨迹，或者把长推理蒸馏成短推理。这些办法当然有用，但它们隐含了一个难题：准确率和长度不是两个互不相关的旋钮。模型多走几步，有时是在重复，有时却是在纠错、验证假设、回退重算。只看长度，很难知道删掉的是废话还是救命的一步。

论文换了一个角度。既然已经存在专项后训练的“准确型专家”和“效率型专家”，能否复用它们已经学到的东西？这里不是让两个专家轮流生成答案，也不是让学生模仿某个固定老师的整套分布，而是问：专项后训练相对于原始检查点，究竟把哪些词的概率抬高了，又把哪些词的概率压低了？这个变化比最终老师本身更接近“能力”的可迁移表达。

这一区分很重要。一个准确型专家可能本来就比学生大很多、词表不同、语言风格不同。如果直接复制老师，学生会连风格、偏好和基础能力一起吞下；如果只看专项训练前后之差，目标就更聚焦：尽量提取新增的推理行为，而不是照搬整个模型。这也是“Capability Composition”在本文中的准确含义——组合的是训练获得的能力偏移，不是把多个模型参数做平均，更不是推理时临时路由多个模型。

二、锚点对：用“训练前后之差”把能力从模型里剥出来

论文把每一种能力都表示成一个“锚点对”。后锚点是专项训练完成后的模型，前锚点是它进入这段专项训练之前的检查点。准确能力来自 准确型推理模型相对其训练前千问底座的变化；效率能力来自 效率型推理模型 相对其训练前蒸馏底座的变化。两对模型规模不同，甚至可以采用不同分词器，但最终都会被对齐到学生当前的令牌空间。

对学生在状态 s 下可能选择的下一个令牌 a，某个能力的偏移可写成：r(a|s)=log π⁺(a|s)−log π⁻(a|s)。π⁺是后锚点，π⁻是前锚点。白话解释就是：专项训练之后，这个令牌相对以前更受欢迎还是更不受欢迎？对数概率相减后，正值表示专项训练推高了它，负值表示专项训练压低了它。

为什么要用对数比，而不是概率直接相减？第一，整段序列的概率本来是逐令牌相乘，对数后就能拆成逐令牌相加，训练信号更密。第二，比值表达的是“相对改变”，能减少模型原始概率尺度不同带来的干扰。第三，多种能力要组合时，加权相加这些对数偏移，等价于对多个相对变化做加权乘积，能够在每一个学生决策点上直接判断它们是互相强化还是互相抵消。

举个直觉例子。准确型锚点可能提高“重新检查条件”“验证边界情况”一类后续令牌的概率，效率型锚点可能压低“重复总结已知信息”的概率。如果两者针对的是不同坏习惯，它们可以同时起作用；如果一个希望继续展开，另一个希望尽快作答，就由权重在这个具体状态上调和。冲突不再留给整套模型参数慢慢消化，而是在每个令牌位置显式解决。

论文图2：左侧由学生初始策略生成共享轨迹；蓝色与橙色锚点对分别给出准确、效率偏移；中间在同一令牌状态加权组合；右侧用组合偏移倾斜初始分布，形成学生要拟合的稳定目标。

三、为什么不能把偏移缓存下来就直接训练

在线做法很直接：学生每生成一批新轨迹，就让每个锚点模型重新打分。问题是，有 K 个锚点对就要调用最多 2K 个锚点模型。两种能力已经是四个模型，再加学生本身，训练服务成本并不轻。论文因此采用离线缓存：先让冻结的学生初始策略生成轨迹，每个锚点对只为这些轨迹打一次分，后续反复训练学生时读取缓存。

但这里藏着一个优化陷阱。缓存动作来自初始学生 πb，训练一段时间后，当前学生 πθ 已经变了。朴素离线目标仍拿旧动作估计“当前学生离初始学生有多远”，这个估计不再是当前分布下真正的约束。结果可能出现一种很别扭的情况：学生已经到达理论上想去的位置，缓存损失仍然给出非零梯度，继续把它往前推，像导航已经到站却还在喊“继续直行”。

Lightning Weave 的 倾斜目标直接在线策略蒸馏 就是为了解决这个固定点问题。它不只告诉学生“沿这个方向走”，而是先把目的地明确算出来。对单个能力偏移 r，目标分布为 q(a|s)∝πb(a|s)·exp(r(a|s)/α)。其中 πb 是初始学生，指数项根据能力偏移重新加权各候选令牌，归一化项让所有概率重新加起来等于一。

α 是控制步幅的温度系数。α 较大，指数变化被压平，目标 q 更接近初始学生；α 较小，锚点偏移影响更强。训练时最小化当前学生到 q 的相对熵。这样，当 πθ 真正等于 q 时，损失和梯度都归零，学生不会被旧缓存继续推离目标。这不是一个小修补，它让离线能力迁移从“方向建议”变成了“有明确终点的优化问题”。

四、能力编织：先合成偏移，再构造一个共同目标

多能力版本只多了一步，却决定了方法的味道。假设第 i 个锚点对给出偏移 ri，权重为 wi，论文先计算 rw=Σ wi·ri，再把 rw 放进刚才的倾斜目标：qw(a|s)∝πb(a|s)·exp(rw(a|s)/α)。两种能力等权时，准确偏移和效率偏移各占一半；做权重扫描时，就能得到一族偏向不同取舍的学生。

公式看起来像加权求和，实际含义更接近“围绕同一个学生先验，对相对行为变化做乘法组合”。如果两个锚点都提升某个候选令牌，它们会共同增强；如果意见相反，结果由偏移幅度、权重和 α 一起决定。相比把老师分布做算术平均，这种写法保留了“相对训练前发生了什么”的信息。

论文还强调了“共享状态”。所有锚点对都在同一批学生轨迹、同一个令牌状态上评分。这样比较才是对齐的：准确专家和效率专家是在回答同一个局部问题，而不是各自在不同轨迹上发表意见。分词器不同时，作者把锚点分数投影到学生令牌空间；这一步让不同模型家族的能力也能组合，但它同时带来近似误差，尤其当词元边界和候选支持差异较大时。

从工程流程看，方法分为六步：准备数学或代码提示；学生生成共享轨迹；分别用前后锚点计算概率；在中央处理器上合成目标；训练学生；最后转换检查点并独立评测。官方开发代码给出了 千问3系列4B模型的复现路径，目标合成阶段可以只用中央处理器，但轨迹生成、锚点评分和学生训练仍需要较重的图形处理器资源。论文配置的训练示例默认使用单节点八卡，因此“离线”不等于“便宜”，它更准确的优势是避免训练过程中同时常驻多个锚点服务。

五、实验怎么做：五个学生、五个基准、数学与代码分开训练

作者评测了五个学生，覆盖千问系列的 1.7B、4B、思考版与新一代 4B，以及另一家族的 7B 思考模型。规模都低于 10B，但跨了不同大小与模型家族。

数学训练从公开数学强化学习数据中抽取 3200 个提示，代码训练从公开代码推理数据中过滤并去重后抽取 3200 个提示。每个学生为每个提示生成四条训练响应，最长 2048 令牌，所有锚点对给同一批轨迹打分。

数学评测包括 美国数学邀请赛2024、2025，以及哈佛—麻省理工数学竞赛2025。每题采样 64 条响应，温度 0.6、top-p 0.95，最大生成 32768 令牌，报告样本平均正确率。代码评测使用 现场代码基准第五版和第六版，每题采样四条，最大 40960 令牌，报告四次平均正确率。这里的“准确率”不是只要 64 次中有一次答对就算成功，而是所有样本正确性的平均值，统计口径更严格，也更能观察策略整体变化。

除了正确率和平均响应令牌，论文还使用准确率—效率分数，把每个方法相对同一底座的准确率收益与令牌变化综合后，再在五个基准上等权平均。这个指标方便画前沿，但读者仍应回到原始两列看结果：综合分数相同，可能一个方法更准也更长，另一个更短却只小幅增准。Lightning Weave 的价值恰恰在于多数完整评测设置中，两列同时朝有利方向移动。

论文表1：五个学生模型在三个数学基准和两个代码基准上的准确率、平均响应令牌与综合分数。蓝色行是准确与效率锚点等权组合的 Lightning Weave。

六、最值得记住的数字：不是只省 9.6%，而是正确率也明显上涨

先看标题里的结果。新一代千问4B模型在现场代码基准第五版上，底座正确率为 41.7%，平均响应 31287 令牌；Lightning Weave 达到 54.2%，平均响应 28294 令牌。正确率绝对提升 12.5 个百分点，相对增幅约三成，同时令牌下降 2993，比例为 9.6%。这不是“把答案截短后保持差不多”，而是在该口径下实现了更准且更短。

同一学生在 哈佛—麻省理工数学竞赛2025 上从 59.2% 提升到 64.0%，令牌从 26481 降到 23635，减少 10.7%。五个基准平均后，新一代千问4B模型从 55.16% 提升到 64.86%，平均令牌从 25439 降到 24086，准确率加 9.70 个百分点、令牌减 5.3%。它不是在每个单项都拿最高正确率或最短长度，但综合前沿最好。

千问3系列4B模型的美国数学邀请赛2024 结果也很直观：72.9% 提升到 76.0%，令牌从 14641 降到 11521，减少 21.3%。五项平均正确率从 55.90% 到 59.92%，平均令牌从 15723 到 12628，少 19.7%。准确型单锚点的平均正确率略高，为 59.94%，但它使用 15607 令牌；也就是说，组合模型只牺牲 0.02 个百分点，却少用约 19%的令牌。

还要看反例。效率型 效率单锚点确实更短，却经常损失正确率；准确型 Klear 单锚点通常更准，却可能变长。Lightning Weave 不是凭空获得免费午餐，而是把两种单锚点各自的偏科拉回到较好的折中位置。真正强的证据不是某个最高分，而是五个底座的综合准确率都高于底座、综合令牌都低于底座。

论文图3：左图显示 新一代千问4B模型的五维能力与综合分数；中图的红线是改变锚点权重得到的帕累托前沿；右图显示在 4K、8K、16K、32K 不同令牌预算下，组合策略的 美国数学邀请赛2024 准确率均领先三组内部对照。

七、权重不是装饰：它把一个模型变成一条可选前沿

论文在 千问3系列4B思考版 上扫描准确锚点与效率锚点的相对权重。随着效率权重增大，响应通常缩短；中间区域仍能维持甚至提高正确率。例如效率权重为 0.625 时，美国数学邀请赛2024 达到 84.9%，平均 15048 令牌，高于外部对照和两个单锚点的正确率，同时更短。

这给部署带来一个很实际的想象空间。产品不一定只需要“唯一最佳”检查点。成本敏感的批处理可以选择偏效率的点，高价值数学求解可以选偏准确的点，交互式代码助手可以在延迟与通过率之间选中间点。论文还在 4K 到 32K 预算下比较 美国数学邀请赛2024，Lightning Weave 在每个预算都优于底座和两种单锚点，紧预算处收益更明显。

不过，这条前沿是在训练时改变权重得到多个学生，不是一个模型在请求到来时无成本切换。若产品要覆盖多个档位，就要保存多个检查点，或者继续研究条件化权重与在线控制。论文证明了“能力权重可以塑造前沿”，还没有解决“一个已部署模型如何即时滑动旋钮”。

八、消融实验：为什么不是混数据，也不是先学A再学B

第一组消融检查倾斜目标。作者比较在线直接策略蒸馏、朴素离线和 倾斜目标。在线版本每轮重新调用锚点，信号新鲜但服务昂贵；朴素离线使用缓存，便宜却没有正确固定点；倾斜目标同样使用缓存，但明确构造 q。结果显示，倾斜目标 与在线版本接近，并优于朴素离线。两锚点设置下，它比朴素离线略微更准，响应令牌少 17.6%。

第二组消融比较数据混合与顺序组合。数据混合让每个样本只接受一个锚点目标，两种能力只能通过共享参数间接相遇；顺序组合先应用一个偏移，再应用另一个，结果强烈依赖顺序，最后训练的能力容易占上风。Lightning Weave 在同一令牌状态先合成偏移，五个基准的准确率都超过数据混合，同时少用 3.8%到8.7%的令牌。

这组实验让“编织”不只是好听的比喻。混数据像把蓝线和橙线分别塞进同一只箱子，期待它们自动织成布；顺序训练像先织蓝层、再盖橙层；Lightning Weave 则在每一个针脚上先算蓝线与橙线如何共同拉扯，再落下一针。局部显式组合，正是它区别于常见多任务训练的核心。

论文表4：上半部分比较在线、朴素离线与倾斜目标；下半部分比较数据混合、两种训练顺序和逐令牌能力组合。组合方法取得最高综合准确率—效率分数 0.41。

九、把三篇工作放在一起：它们解决的是三个不同层面的浪费

Lightning Weave 与 开放多教师在线策略蒸馏都谈多教师在策略蒸馏中的能力整合，但焦点不同。开放多教师在线策略蒸馏 研究数学、代码、指令遵循三个领域专家如何进入同一学生，发现朴素多教师蒸馏只恢复了从混合监督微调到路由强化学习提升的 35.6%。主要问题不是教师在词元上激烈冲突，而是训练预算分配失衡：长序列领域吃掉过多词元、不同领域收敛速度不同、同一批轨迹反复更新时奖励变旧。

开放多教师在线策略蒸馏 用词元份额平衡、按剩余差距动态分预算、刷新学生相关奖励，把恢复比例提高到 83.4%。它回答的是“多个领域老师同时教一个学生，课时怎么分才公平”；Lightning Weave 回答的是“多个专项训练带来的相对行为变化，如何在同一令牌状态合成一个稳定目标”。前者重预算调度与跨领域平衡，后者重能力表示、离线固定点与准确—效率冲突。

Deep Think with Confidence 则发生在推理阶段。它读取模型内部令牌分布，用局部置信度识别低质量推理轨迹，在生成后过滤，或在生成过程中提前停止。论文报告 置信深思在512条轨迹设置下 在 AIME 2025 上最高达到 99.9%，相对完整并行思考最多减少 84.7%生成令牌。它不需要额外训练，适合多轨迹采样场景；代价是仍要依赖多条候选轨迹和置信度与正确性的相关性。

三者可以按时间轴理解。开放多教师在线策略蒸馏 管的是训练预算别被某个领域吃光；Lightning Weave 管的是后训练能力如何组合成更好的单模型策略；Deep Think with Confidence 管的是部署后哪些推理轨迹值得继续花算力。一个优化“怎么教”，一个优化“把什么变化教进去”，一个优化“推理时哪些思考值得保留”。它们不是简单替代关系，理论上甚至可以串联。

十、这项工作最硬的价值，与最容易被忽略的代价

第一，能力被表示为“训练造成的相对变化”，而不是一个不可拆的老师。这让不同规模、不同底座、不同分词器的模型有机会共享专项后训练成果。对企业而言，真正昂贵的资产往往不是一个检查点，而是某次数据、奖励与训练流程沉淀出的行为改进。Lightning Weave 给这种资产提供了更细的搬运单位。

第二，缓存后的训练只服务学生，不必让所有锚点长期在线。每个锚点对仍需对共享轨迹完整打分一次，但训练迭代阶段不再并发托管四个乃至更多锚点模型。随着能力数量增加，这种“前期一次评分、后期复用缓存”的收益会更明显。

第三，方法把冲突暴露成可调参数。权重和 α 不只是超参数，它们决定每种能力推学生走多远。产品团队可以围绕延迟、令牌价格和任务价值选择点，而不是只接受单个研究模型给出的默认取舍。

代价同样清楚。首先，必须拿到专项训练后的模型和它对应的训练前检查点。只有最终闭源模型、没有前锚点，就无法直接恢复这段能力偏移。其次，每加入一个能力，就要多跑一对模型的离线评分；缓存省掉的是反复在线服务，不是首次计算。再次，目标只在缓存到的学生状态上定义得最扎实，学生走到缓存覆盖之外时，泛化依赖模型本身。

十一、论文自己承认的三处限制

第一，实验集中在 10B 以下模型。五个底座增加了可信度，但不能自动推出几十B、几百B模型仍有同样收益。模型越大，锚点评分、跨分词器对齐和缓存存储的成本也会放大。第二，方法依赖成对检查点，现实中的商业模型通常只发布后训练结果，不发布精确前锚点，这会限制外部复用。

第三，组合后的效率提升仍不如只追求短推理的专项方法。效率单锚点 在不少设置下能省更多令牌，只是准确率下降。Lightning Weave 的目标不是成为最短模型，而是把前沿往外推：在更少令牌下保住或提高正确率。若业务只在乎成本、对准确率容忍度高，单一效率策略仍可能更合适。

另外，论文主结果使用多次采样平均正确率，训练轨迹最长 2048 令牌，而数学和代码评测允许更长输出。标题数字来自作者规定的评测协议，不等同于所有代码任务都能稳定少用 9.6%。代码仓库已经开放开发版本和复现脚本，但完整重现实验需要多个大模型检查点、较长轨迹和多卡训练资源，不是笔记本级别的一键验证。

十二、龙哥点评：模型能力也许会从“整机购买”走向“模块化继承”

龙哥觉得，这篇论文最有启发的不是 9.6% 本身，而是它换了能力复用的单位。过去我们常把一个后训练模型视为成品：要么蒸馏它，要么合并它，要么路由到它。Lightning Weave 试图把专项训练造成的行为变化提取出来，再组合给另一个学生。若这条路扩展到工具使用、代理规划、安全拒答和领域知识，模型开发可能更像维护一组可追踪的“能力补丁”。

但能力补丁要真正工程化，还缺三样东西：稳定的检查点谱系，明确记录每段后训练从哪里开始；跨模型可比的偏移表示，避免分词器和候选支持成为隐形误差；以及组合后的回归测试，防止数学更准、代码更短，却在安全性、事实性或指令遵循上悄悄退化。开放多教师在线策略蒸馏 已提醒我们，多老师的问题未必是意见冲突，也可能只是资源分配不公平。

与此前讨论过的推理可靠性研究放在一起看，下一阶段的竞争不会只比“能不能答对”，而会同时比较：以多少令牌答对、错误能否早识别、专项能力能否低成本迁移、多个能力组合后会不会互相伤害。Lightning Weave 在其中补上了“能力如何组合”这一环，而且给出了公式、消融与跨底座结果，不只是概念包装。

参考论文与资源

Lightning Weave
https://arxiv.org/abs/2609.14708

官方开发代码
https://github.com/jet-ai-projects/Lightning-Weave

开放多教师在线策略蒸馏
https://arxiv.org/abs/2608.19098

Deep Think with Confidence
https://arxiv.org/abs/2508.15260

本文基于龙哥读论文PaperDaily数据库及PaperMiner的MCP进行汇总整理。本文为论文解读与个人学习笔记，不构成任何论文审核意见，及对产品能力、安全性或商业可用性的保证。