独立研究者TRACE推理代理：根因诊断准确率从15.9%升至75.7%

龙哥导读

数学题和代码题容易训练推理模型，因为答案能自动检查；企业数据异常却不同，真正根因往往要专家调查，而且事后仍可能争论。TRACE换了一个方向：先在模拟器里偷偷注入真实根因，再让代理像分析师一样用Python和结构化查询调查。由于系统从一开始就知道自己注入了什么，训练奖励不再依赖人工猜测。同一个35B模型因此从15.9%提升到75.7%，还把工具调用减少近一半。但更细的二维归因和“其实没有异常”的判断仍然薄弱，说明它提供的是一种训练范式，不是已经成熟的自动诊断产品。

一、为什么根因诊断比数学推理更难训练

可验证奖励强化学习近年在数学和代码任务上快速发展，原因并不神秘：一道数学题可以把最终数值与标准答案比较，一段代码可以运行测试用例。模型即使经过很长的推理过程，系统也能用低成本判断最后是否正确。奖励足够客观、便宜且可重复，强化学习就有了稳定抓手。

根因诊断没有这么幸运。广告转化突然下降，可能来自预算变化、竞价策略、受众设置、素材疲劳、追踪故障或外部季节因素。证据分散在多张表里，噪声和混杂因素同时存在。专家不仅要回答发生了什么，还要指出哪个地区、设备、受众或渠道受影响。现实中即便调查结束，不同分析师也可能给出不同解释。

如果直接用人工评价训练，成本高、速度慢，而且评价标准会漂移。若只奖励一段看起来合理的分析文字，代理又可能学会写得像专家，却没有真正找到原因。TRACE的核心问题因此不是“怎样让模型多想几步”，而是“怎样为本来难以验收的诊断任务制造一个可靠验收器”。

二、TRACE的答案：先制造问题，同时保留隐藏真相

TRACE在受控数字广告模拟环境中工作。系统先从12类根因里采样一个干预，例如改变某类受众、地区、设备或活动设置，再把干预注入模拟器，生成代理能看到的多表数据。代理只看到异常后的观测，不能直接读取隐藏干预。

这个设计最关键的一点是：隐藏干预既是任务来源，也是标准答案。代理完成调查后，系统可以直接比较它报告的根因和细分范围是否与注入内容一致。原本需要专家事后判断的答案，被工程化为生成任务时就已知的真相。

这与普通合成问答不同。任务不能只把答案写在某一行数据里，否则代理只需检索。模拟器要让根因通过一连串指标变化显现，还要混入正常波动和无关证据。代理仍需决定查哪些表、怎样分组、如何排除混杂因素，真正执行一个小型数据调查。

图1：从隐藏干预、模拟观测、工具调查到自动验收。根据论文方法原创重绘。

三、代理怎样调查：不是读一段文字，而是操作数据

每个任务提供一个包含多张事实表的环境。代理可以使用Python和结构化查询语言检查趋势、切分维度、计算差异并验证假设。最终答案必须给出根因；如果干预涉及细分，还要同时说清受影响的维度和值。

例如，整体点击率下降只是入口。代理可能先按日期看变化，再按地区、设备或受众拆分。如果只有移动端某地区出现同步异常，它还要判断这是投放配置变化、流量结构变化，还是追踪问题。正确轨迹不是固定脚本，而是根据前一步结果决定下一步查什么。

论文使用完整归因指标衡量结果。只有根因和要求的细分都答对，才算一次完整成功。这比只判断大类更严格，也更接近真实分析交付：告诉业务“转化下降”没有价值，必须指出为什么下降、影响谁，以及证据在哪里。

四、训练分两段：先学会基本操作，再用奖励纠正策略

作者先构建1,200条经过隐藏真相过滤的监督轨迹，让模型学会基本工具格式、调查步骤和答案结构。这一步相当于给新分析师看一批合格案例，解决完全不会使用环境的问题。

随后，系统生成5,000个可由隐藏干预自动验收的任务，其中4,472个用于强化学习，528个用于验证。奖励不仅看根因大类，也对细分归因和完整归因进行分级。代理答对更多组成部分，就得到更高信号。

这种两阶段安排很重要。直接强化学习可能因为早期几乎没有成功而缺少有效奖励；只做监督微调又容易模仿已有轨迹，无法主动发现更短、更可靠的调查策略。监督微调提供起点，合成奖励再让模型围绕真实验收结果继续优化。

五、主结果：35B模型从15.9%升到75.7%

论文在235个完全留出的任务上评测。留出不仅按单个任务划分，还隔离广告活动和干预组合，尽量避免模型记住同一活动的相似版本。核心指标是一次回答就完成根因与细分归因的准确率。

Qwen3.5系列35B模型只靠提示时，完整归因准确率为15.9%。监督微调后达到63.7%，说明高质量示范让模型迅速掌握了环境和调查套路。继续使用合成奖励强化学习后，结果达到75.7%，相对监督微调再提高12.0个百分点。

论文中的最强提示式闭源基线Claude Opus 5为68.6%。更大的Qwen3.5系列122B模型提示基线只有28.3%。这组对比支持作者的核心判断：在此任务里，拥有可扩展、客观的训练信号，比单纯扩大模型或写更复杂提示更关键。

图2：提示、监督微调和合成奖励强化学习的完整归因准确率。根据论文公开数字原创重绘。

六、为什么工具调用反而更少

准确率提高的同时，最佳强化学习策略平均每条轨迹使用11.73次工具调用；35B提示基线平均需要22.05次。调用数量减少约46.8%，并不是简单要求模型少查数据，而是训练让它更快找到有区分力的证据。

提示式代理常见的问题是搜索发散：重复查看类似统计、在无关维度上不断切分，或者在已经足够确定时继续调用工具。只要最终文字看起来合理，这些低效步骤很难被传统监督数据明确惩罚。

有了完整归因奖励，成功且简洁的策略更容易在训练中被保留。不过，工具次数不能直接等同于真实成本。不同查询的计算量、数据规模和响应时间可能差异很大；论文证明的是调查步数更少，不是已经完成企业系统的成本核算。

图3：最佳强化学习策略与35B提示基线的平均工具调用次数。

七、失败点一：二维细分归因仍然很难

当异常只涉及一个细分维度时，代理可以逐层拆分并定位；当根因同时绑定两个维度，例如特定地区中的特定设备，搜索空间会快速扩大。论文报告，这类二维完整归因从监督微调的4%提高到强化学习后的27%，相对进步明显，绝对水平却仍然很低。

困难来自组合爆炸。代理必须判断哪些维度值得交叉，还要避免因为样本量变小而把随机波动当成异常。查询顺序如果不合理，工具预算很快被耗尽。模型也可能找到根因大类，却把影响范围说得过宽或过窄。

这说明更强训练信号没有自动解决规划和记忆问题。作者把更强的长期规划、调查记忆和自适应工具选择列为后续方向。对真实数据代理而言，这些能力可能比继续增加语言生成参数更重要。

八、失败点二：强化学习让“无异常判断”退化

论文还设置了没有真实干预的任务，用来检查代理会不会为了给出答案而强行编造根因。监督微调模型在无信号任务上的准确率为76%，强化学习后降到49%。

这是非常重要的风险信号。训练奖励鼓励代理找到完整归因，可能让策略更积极地搜索并作出判断；当数据其实只是正常波动时，这种积极性会变成误报。业务系统中，错误报警会消耗分析师时间，也可能触发不必要的预算或产品调整。

因此，诊断代理不能只优化“找到问题”的能力，还要单独校准“没有足够证据”的拒答能力。更合理的部署指标应同时报告真异常召回、假警报率、置信度校准和调查成本，而不是只看一个综合准确率。

图4：总体归因提升的同时，二维归因仍低且无异常判断退化。

九、合成奖励能迁移到哪些现实领域

TRACE最直接的启发并不局限于广告。只要一个领域能够安全注入故障、模拟后果并保留真实原因，就可能构建类似训练闭环。例如软件运维可以人为制造服务超时、配置错误或资源耗尽；数据平台可以注入字段漂移、延迟和质量缺陷；工业系统可以在数字孪生环境中模拟传感器或部件异常。

关键条件有三个。第一，模拟器必须产生足够真实的证据链，而不是把答案直接暴露。第二，干预集合要覆盖真实世界的重要故障，不能只训练少数容易类别。第三，代理在模拟器里学到的调查策略要能迁移到真实系统，否则可能只是在玩一个规则固定的游戏。

更稳妥的路线是把模拟训练与真实历史事件结合。模拟器提供大量可自动验收任务，真实事件用于检查分布差异和校准失败类型。上线后还需要人类审批、只读权限、查询预算和审计日志，不能因为测试分数高就让代理直接修改生产配置。

十、与现有根因分析代理相比，TRACE改变了什么

开放式根因分析基准等工作提供真实软件故障数据和企业遥测，让模型在日志、指标与调用链中定位问题；另一类根因分析代理研究如何组织工具调用、角色协作和诊断流程。这些工作更接近真实运维，但高质量标签昂贵，数据又常受隐私限制。

TRACE的不同点是把重点放在训练信号制造上。它不是先收集大量真实故障再请专家标注，而是从干预开始生成任务，使每个训练样本天然带有可验证答案。这降低了扩展奖励数据的成本，也允许系统有意增加难例。

两条路线并不冲突。模拟器适合规模化训练和压力测试，真实基准适合验证迁移。未来更有价值的系统可能先在可控环境中学会调查，再在脱敏真实事件上做校准，最后由专家监督进入生产。

十一、怎样正确理解75.7%这个数字

75.7%来自单一数字广告模拟环境中的235个留出任务，根因总计12类。它证明该训练方法在这一环境有效，但不能直接外推到任意企业数据库、软件事故或医疗诊断。

模型知道可用表结构、工具和答案格式，真实公司则可能存在缺失数据、口径冲突、权限限制、延迟写入和未经记录的业务变更。真实根因也可能同时包含多个事件，而不只是一个从预定义集合采样的干预。

另一个敏感点是训练约束。论文加入保持原模型能力的约束后，完整归因从75.7%降到72.4%，说明任务奖励与通用能力保持之间存在取舍。部署团队需要根据实际用途决定是训练专用诊断模型，还是让通用助手偶尔承担诊断任务。

作者没有公开可核验的代码仓库，因此目前无法独立确认训练配置、模拟器实现和复现实验成本。论文提供了较完整的数字和流程，但工程复现仍需等待代码或由第三方重新实现。

十二、奖励到底奖励什么：根因、细分与完整答案

如果奖励只看根因大类，代理可能很快学会猜中“预算”“受众”或“追踪”等类别，却不愿继续定位影响范围。真实业务往往最需要后半段信息：究竟是哪一个活动、哪个地区、哪类设备、哪个受众组合出了问题。TRACE因此把答案拆成多个可以核验的组成部分。

分级奖励的好处是，即使代理没有一次答对全部字段，也能从部分正确中获得方向。例如根因正确但细分错误，奖励会高于完全错误；根因和一维细分正确，但第二维缺失，也能与完整答案区分。这比简单的全对得一分、其余零分更容易为早期训练提供信号。

但分级奖励也会改变模型偏好。若根因大类分值过高，代理可能满足于粗粒度答案；若完整归因权重过高，模型可能在证据不足时强行补全细分。无异常任务上的退化，很可能就是奖励更偏向积极归因后的副作用之一。

设计类似系统时，团队应先写出错误代价表：漏掉真实故障、误报不存在的故障、根因正确但范围错误、查询成本过高，各自会造成什么后果。奖励权重不应只追求论文指标，而应映射真实业务损失，并通过独立验证集检查模型是否学会钻奖励空子。

十三、训练数据规模不大，为何变化这么明显

TRACE的强化学习训练集为4,472个任务，监督热启动轨迹为1,200条。从今天动辄百万样本的语言模型训练来看，这个规模并不大，结果却出现明显跃升。原因之一是任务边界清楚：工具、数据表、答案结构和根因集合都被严格限定，每个样本又带有高质量客观标签。

第二个原因是训练信号与目标高度一致。普通指令数据可能教模型怎样写分析报告，却不直接约束根因是否正确。TRACE的奖励直接来自隐藏干预，模型每次成功或失败都与最终任务目标对应，样本利用率自然更高。

第三，监督微调已经把模型带到63.7%的较强起点。强化学习不是从零探索，而是在已有调查能力上修正查询顺序、停止时机和答案选择。这种先示范、再自动验收的组合，比完全依赖一种训练方式更稳定。

这不意味着几千个样本足以解决所有诊断问题。根因种类只有12类，模拟环境结构固定，任务之间共享大量规律。换到包含数百种故障、不断变化的数据平台，所需覆盖范围、训练规模和维护成本都会显著增加。

十四、真实部署需要怎样的人机协作

第一阶段最适合让代理担任调查助手，而不是最终裁判。代理可以提出最可能根因、列出支持与反对证据，并给出下一步查询建议；分析师确认后再决定是否调整预算、修复数据管道或通知业务团队。

第二，系统需要把证据与结论绑定。每个归因都应附带使用过的表、时间区间、过滤条件和关键统计，用户可以一键复查。只输出流畅解释而不保留可重复查询，会让错误很难追踪，也无法形成后续训练样本。

第三，要为不确定性设置明确出口。代理可以回答“现有证据不足”“存在两个同样可能的原因”或“需要额外日志”，而不是被迫给出唯一答案。拒答率不应被简单视为失败，而要与误报代价一起评估。

第四，权限应从只读开始。即使诊断准确率较高，代理也不应直接修改投放、数据库或服务配置。可行流程是先生成调查报告，再由规则系统检查高风险动作，最后由人类批准。只有长期积累稳定证据后，才考虑对低风险、可回滚操作开放有限自动化。

第五，线上反馈必须回流。分析师采纳或否决了哪个根因、最终修复是否有效、告警是否复发，都应进入评测与数据更新。模拟器负责提供规模，真实反馈负责纠正模拟器没有覆盖的世界，两者缺一不可。

十五、从论文到产品，至少要补齐四套测试

第一套是分布外测试。使用论文训练时没有出现的新广告活动、新指标组合和新干预类型，检查代理是否理解调查逻辑，而不是记住固定表结构。最好把字段名、单位和数据稀疏程度也做变化。

第二套是反事实测试。保持绝大多数数据相同，只改变一个隐藏根因，观察代理结论是否随关键证据变化；再保持根因相同，改变无关噪声，检查结论是否稳定。这样能发现模型是否依赖与根因无关的捷径。

第三套是安全测试。系统性增加无异常任务、证据冲突任务、缺失数据和工具失败，衡量误报、拒答和恢复能力。尤其要测试查询返回空值、超时或错误列时，代理会不会把工具故障误判为业务故障。

第四套是成本测试。除了平均调用次数，还要统计高分位延迟、扫描数据量、失败重试和最坏任务成本。一个平均11.73次调用的代理，如果少数任务会无限探索，仍然不适合稳定服务。

还应增加跨时间测试。广告平台、软件系统和数据口径都会变化，今天有效的调查顺序可能在一次产品改版后失效。团队应保留按月份滚动的独立测试集，监控根因准确率、无异常误报率和工具成本是否同时漂移；一旦发现异常，先降级为只提供证据和建议，再重新校准模拟器与训练数据。

只有这四套测试与论文准确率同时通过，团队才有理由讨论生产试点。否则，75.7%更适合作为研究方向的证明，而不是自动替代分析师的采购指标。

十六、龙哥点评：真正稀缺的不是长推理，而是可信验收

很多代理项目把重点放在让模型调用更多工具、写更长思考或组成更复杂团队。TRACE提醒我们，如果系统无法判断最终诊断是否真的正确，再复杂的过程也可能只是在扩大成本。一个可靠验收器，往往比再加一个代理角色更有价值。

这项工作的亮点是把验证难题向前移动。作者没有等专家在任务结束后打分，而是在任务生成阶段就把真相嵌入环境。代理仍需面对噪声和探索，但训练系统不再为标准答案发愁。这种思路值得所有数据代理和运维代理团队借鉴。

需要警惕的是，代理可能学会模拟器的规律，而不是现实世界的因果规律。二维归因低、无异常判断退化，已经表明策略会顺着奖励偏好改变错误类型。真正上线前，必须把误报、拒答、跨环境迁移和人工复核纳入同等重要的评测。

十七、如果要复现，最容易遗漏哪些环节

第一，不要只生成带明显异常的数据。模拟器需要同时覆盖弱信号、多个无关波动和完全没有干预的正常任务，否则代理很容易学会“每道题一定有问题”。论文中的无异常能力退化，正好说明正常样本比例和奖励设计必须单独检查。

第二，要严格隔离训练与测试。若同一广告活动只换一个日期或轻微参数就进入测试集，模型可能记住活动结构而不是真正学会因果调查。论文按任务、活动和干预层面做隔离，是比随机拆分更可靠的起点；真实复现还应增加全新表结构和全新根因。

第三，必须记录完整工具轨迹。只保存最终答案，无法分析代理为什么成功或失败。应记录每次查询、输入参数、返回行数、耗时、异常处理和中间假设，再区分是证据不足、查询错误、推理跳步，还是答案格式错误。

第四，奖励不能只鼓励命中。实际系统还需要惩罚无依据归因、重复查询、过度细分和不必要的高成本操作，并为“证据不足，暂不判断”设置合理出口。否则模型可能用更多自信换取表面准确率，却把风险转移到误报和不可校准的答案上。

第五，模拟器本身也要接受审计。若模拟规则过于简单，模型会利用固定模式走捷径；若规则与真实业务脱节，测试分数再高也没有迁移价值。最好让领域专家定期用真实事故反向挑战模拟器，并建立模拟证据与真实证据的差异清单。

十八、龙迷三问

第一问：合成数据会不会让模型只会做假题？
会有这种风险。关键不是“合成”两个字，而是模拟器是否保留真实证据结构，以及是否用完全独立的真实或高保真数据检验迁移。TRACE目前主要证明了模拟环境内部的训练收益。

第二问：为什么监督微调已经到63.7%，还要强化学习？
监督微调让模型学会模仿合格调查；强化学习直接按最终归因是否正确优化策略，因此又提高12个百分点，并减少无效工具调用。但它也让无异常判断退化，说明收益伴随新的偏差。

第三问：普通团队能否照着做？
如果团队能安全注入故障、记录真实原因并生成可观测后果，就可以从小型模拟器开始。先覆盖少量高频故障，验证模拟与真实事件的一致性，再逐步扩大，不能一开始就把合成结果当作生产真相。

十九、总结：把难以验证的诊断，改造成可训练的探索

TRACE先采样隐藏干预，再生成复杂观测，让代理通过Python和结构化查询语言调查，最后用隐藏干预自动验收。它把根因诊断从依赖昂贵专家打分的任务，转化为可以规模化生成客观奖励的训练环境。

在论文设置中，35B模型完整归因准确率从提示基线15.9%提高到监督微调63.7%，再经强化学习达到75.7%；平均工具调用从22.05次降至11.73次。结果超过论文中的所有提示式基线，支持“训练信号可能比模型规模更稀缺”的判断。

但二维细分归因只有27%，无异常判断从76%降到49%，单一模拟环境也不能代表真实企业系统。这篇论文最值得带走的不是一个75.7%的榜单数字，而是一种工程思路：如果现实答案太贵，就尝试设计一个能够生成问题、保留真相并自动验收的世界。

本文基于龙哥读论文PaperDaily数据库及PaperMiner的MCP进行汇总整理。本文为论文解读与个人学习笔记，不构成任何论文审核意见，及对产品能力、安全性或商业可用性的保证。