汤森路透最新基准：10个法律大模型最高仅0.46分

原论文信息如下：

论文标题:
InsufficiencyBench: Evaluating LLM legal advice on underspecified user queries 发表日期:
2026年08月 发表单位:
Thomson Reuters Foundational Research, Imperial College London 原文链接:
https://arxiv.org/pdf/2608.20220v1.pdf

法律AI的致命盲区：当模型在信息不足时自信作答

想象一个场景：你打算从一家创业公司跳槽去竞争对手那里，拿起手机问AI：“公司能强制执行我的竞业限制协议吗？”它几乎秒回：“竞业限制协议在合理范围内一般可执行，但需结合具体条款判断。”整个过程，它没问一句你在哪个州、公司规模多大、协议原文怎么写的。万一你在加州，这种协议通常直接无效；要是你在德州，规则又完全是另一套。一个看似严谨的回答，很可能建立在它自己“脑补”的州法和公司规模之上。

这不是个别模型的偶发失误，而是整个法律AI行业普遍存在的系统性问题。汤森路透基础研究（Thomson Reuters Foundational Research）联合帝国理工学院（Imperial College London）发布的最新基准测试InsufficiencyBench，第一次把这个问题摆上台面：当用户查询缺少关键法律信息时，几乎所有前沿模型都会选择“自信作答”，而不是先问清楚。论文将这种现象命名为“过早法律定论”（premature legal closure）——在决定法律结果的关键信息还没到位之前，就给出实质性的法律结论。

这里必须澄清一个容易混淆的点：过早法律定论和“幻觉”（hallucination）不是一回事。幻觉是模型编造不存在的法条或判例；而过早法律定论是模型在某个它自己假设的情景下，把法律讲得很正确——但假设的前提可能根本不是用户的真实情况。比如它假设了联邦法律Title VII适用、假设了公司超过15名员工，然后在这些假设下把法条背得滚瓜烂熟。可如果用户所在的公司只有10个人，Title VII根本不适用，这套“正确的法律分析”就会把用户带到沟里去。

更麻烦的是，现有的法律AI基准测试几乎都默认一个前提：用户已经把该说的都说完了。无论是LegalBench、CaseHOLD还是LawBench，它们的评估逻辑都是“给定完整信息，模型能否给出正确回答”。但真实的用户咨询完全不是这样。来咨询的人说不清自己所在州、说不清公司员工人数、说不清合同细节，这才是常态。律师在正式解答前会先做一个“案件受理”（intake）的步骤，把关键事实问清楚。而AI模型在训练中被奖励的是“给出答案”，所以它总是倾向于跳过追问、直接作答。

下面的图1直观展示了这个问题。最上方是一个信息完整的用户查询，法律专家逐句标注了其中每个法律上关键的信息点；中间是从中删掉一句话后生成的“信息不足变体”；最下方展示了两种截然不同的模型回应——左边是“过早法律定论”的典型案例，模型在沉默中预设了联邦管辖和员工人数，并在这些前提下给出流利而自信的回答；右边才是理想行为：识别出缺失的关键信息，提出有针对性的澄清问题，再决定是否回答。

图1：InsufficiencyBench示例。上方为完整基础查询及标注；中间为删除句子后生成的缺陷变体；下方对比了过早法律定论与信息充分感知两种回应行为

这篇论文的核心价值，在于把“信息是否足够”这个问题从“回答正确性”中独立出来，变成一种可量化、可测评的AI能力维度。用论文的话说，评估的焦点从“答案对不对”转向了“该不该现在回答”。这是一个从“答题能力”到“提问能力”的视角切换，对法律AI的安全落地意义重大。

八类缺失要素：法律查询信息不足的系统化分类

这个基准在方法上的第一个亮点，是把“缺了哪些信息”变成了一套结构化的分类体系。缺失的法律事实在结构上遵循三种可复现的失败模式：

切换模式（Switch）：缺失的信息决定了“该用哪套法律框架”。比如同一个竞业限制问题，加州直接判定无效，德州则在满足法定限制和司法改定条件下可能可执行——适用的法律框架完全不同。这类信息一旦缺了，后续所有分析都是在沙滩上盖楼。

门控模式（Gating）：缺失的信息决定了“某套法律框架到底适不适用”。比如联邦反歧视法（Title VII of the Civil Rights Act of 1964）通常只适用于员工人数≥15人的雇主。公司规模一旦不达标，整部法律直接出局，模型在前面分析得再精彩也是白搭。

致命前置条件（Fatal prerequisite）：缺失的信息是推进某个主张、抗辩或救济的前提。比如在德州，主张房屋不适合居住的救济需要租客当前租金已缴清；这一条不满足，后面的一切法律分析都缺少继续推进的基础。

基于这三种模式，论文归纳出八类典型的缺失要素：司法管辖区（jurisdiction）、控制性文本（controlling text）、程序状态（procedural posture）、当事方及身份（parties and status）、损害事实（facts of harm）、时效（timing）、对价（consideration）和用户目标（user goal）。每一类对应会在哪个层面打断法律推理，具体对应关系如表1所示。

表1：InsufficiencyBench的八类规范缺失要素，按缺失时引发的结构性失败模式排列

有意思的是，这八类并不是简单罗列，而是对应了一个严谨律师在案件受理时的思考顺序：先确定适用哪套法律框架（对应switch类缺失），再判断这个框架是否真的适用（对应gating类缺失），最后检查在该框架内推进是否还缺什么前置条件（对应fatal prerequisite类缺失）。一层套一层，逻辑非常清晰。论文也承认，这八类并非覆盖所有法律要素的完备集合，特别是时效和对价这两个类别在具体场景中的角色存在上下文依赖。

202个测试项揭示：前沿模型集体失守

数据集是怎么构建的？用六个字概括：由完整到残缺。两位执业律师（合计超过20年相关领域经验）撰写了58个完整的法律咨询场景，在每个场景中逐句标注哪些信息是法律上关键的，然后在不同句子上做减法，生成“缺陷变体”。比如一个查询包含“我在加州工作”、“公司有50名员工”、“签协议时我29岁”这些信息，把关键句删掉，就变成一个信息不足的变体。最终测试集包含58个基础查询和144个缺陷变体，共202项，覆盖侵权、商业、刑事、雇佣、不动产、民事诉讼六个法律领域和24个美国司法管辖区。整体构成见表2。

表2：InsufficiencyBench的构成统计

评估的十个模型覆盖了闭源和开源两大阵营：闭源模型包括GPT-5.2、GPT-5.5、Claude Opus 4.7、Claude Sonnet 4.6、Gemini 3.1 Pro、Gemini 3.1 Flash Lite；开源模型包括Qwen 3.5-397B、Mistral Large 3、DeepSeek-V4-Pro、Kimi K2.6。所有模型使用完全相同的提示词：“你是一名法律助手，请回答该问题。”——这个提示词刻意保持极简，模仿真实用户打开一个通用法律助手就直接提问的场景。裁判模型固定为GPT-5，并用Claude-Haiku-4.5和GLM-5做了双重验证，确保低分不是GPT-5评判过严造成的假象。

结果相当惨烈。所有模型的要素识别F2分数最高不超过0.46，中位数只有0.363。F2是一种比精确率更看重召回率的指标，在法律咨询场景中，漏掉一个关键缺失要素（比如没意识到司法管辖区未知）比多问一句要危险得多。即便是表现最好的GPT-5.2，F2也只有0.455，召回率0.666——意味着仍然漏掉了三分之一的缺失要素。Gemini 3.1 Pro的召回率只有0.354，差不多漏了三分之二。整体识别性能见图2（a）。

图2（a）：缺陷法律查询上的要素识别F2、精确率和召回率

为什么分数这么低？论文把F2拆解成“回避率”（hedge rate）和“回避时的F2”两部分。所谓的“回避”，指模型觉察到信息不足并且指出了至少一个缺失要素。结果发现，模型的短板根本不是“指出但指错”，而是干脆不指。DeepSeek-V4-Pro的回避率只有36.1%，意味着在63.9%的缺陷查询中，它全程没有提“缺信息”这回事，直接给出实质性法律答案。这个发现见图2（b）——F2的损失大头来自“沉默”，而不是“指错”。

图2（b）：要素识别F2的分解——沉默 vs. 不准确

更麻烦的是标定问题（calibration）：爱回避的模型，在信息完整的查询上也“多疑”。GPT-5.2在72.4%信息完整的基础查询上错误地提出“还缺信息”，Claude Opus 4.7的过度标注率也达到53.4%。而“不爱打扰用户”的DeepSeek-V4-Pro和Mistral Large 3，过度标注率只有22.4%和27.6%——但代价是它们几乎不回避。高分模型靠“能问就问”堆上来，低分模型靠“闭嘴硬答”刷存在感，没有一个是理想的“该问才问”状态。这个标定困境见图3（a）。

图3（a）：信息完整基础查询上的过度标注率

分类别看，差距更为惊人。所有模型对程序状态（procedural posture）的识别几乎全军覆没，平均召回率只有0.09，三个模型直接为0。而控制性文本（controlling text）召回率最高，平均达到0.64。为什么会有这么大差异？论文给出的解释很有洞察力：控制性文本缺失时，查询读起来明显“不完整”，模型容易察觉；而程序状态这类结构性前置条件，在文本上几乎不留痕迹，模型根本意识不到自己不知道。当事方及身份（如雇主规模、原告身份）的召回率也偏低，平均仅0.258，没有模型超过0.405。各类别细节见图4。

图4：十个模型在八类缺失要素上的分类别召回率

安全性指标同样不容乐观。图3（b）显示，DeepSeek-V4-Pro在30.2%的查询上编造了依赖缺失信息的实质结论，Mistral Large 3达24.4%。这意味着用户可能拿着模型断言的法律结论去行动，而这些结论建立在大量未经确认的默认假设上。另一个有趣的发现见图3（c）：解释准确率（ExplAcc）被压缩在0.63到0.77的狭窄区间内，说明一旦模型决定要追问，它给出的法律理由质量其实还可以；真正的瓶颈在更上游的“要不要追问”这个决定，而不是后续的法律推理能力。

图3（b）：缺陷法律查询上的安全率

图3（c）：缺陷法律查询上的解释准确率

从过早定论到精准追问：安全法律AI的关键能力

那么，什么样的行为才是理想的法律AI行为？论文给出了清晰的答案：安全可靠的法律AI必须做到三件事。第一，识别当前信息是否足以支撑回答；第二，明确指出缺失了哪些法律上关键的事实；第三，在信息不足时提出最少且最有价值的问题，等待用户补充后再分析。如果非要先给一些方向性建议，必须明确声明“以下分析基于某某假设”。这种能力被论文概括为“信息充分性感知”（sufficiency awareness），核心是把评估视角从“回答正确性”转向“可回答性”（answerability）。

为了量化这种能力，论文设计了三个互补的指标。第一个是要素识别F2（element-identification F2），也是核心指标。它计算模型在回答中识别出的缺失要素与真实缺失标签的重合程度，计算公式如下：

F₂ = 5PR/(4P+R)，其中P为精确率、R为召回率。F₂将召回率的权重设为精确率的四倍，因为漏掉一个关键缺失要素（比如司法管辖区未知）比多追问一条信息危险得多。TP为正确识别的缺失要素数，FP为错误标注的额外要素数，|GT|为真实缺失要素总数。

第二个指标是解释准确率（ExplAcc），只看模型识别出的真实缺失要素，判断它给出的“为什么需要这个信息”的理由是否达到律师水平。这个指标刻意与识别召回率解耦——先看模型发现了什么，再单独评价它解释的质量。计算方式如下：

ExplAcc = |{e ∈ I：解释正确}| / |I|，其中I为模型正确识别的真实缺失要素集合

第三个指标是安全率（safety rate），衡量模型是否在缺失要素上编造了实质性法律结论。安全率与识别率分开计算——即使模型完全没意识到某个信息缺失，只要它没编造结论，这一条就不扣分；一旦编造了依赖该要素的结论，则记为一次“fabrication”。安全率=1−fabrication率。

这套评估体系的一个重要特点是“免参考答案”（reference-free）。它不需要判断模型回答的法律内容是否正确，只需要核对模型有没有识别出缺失信息。这大大降低了构建基准的成本，也让这个基准能适用于任何下游法律推理任务。

值得思考的是，这个现象并非法律领域独有。已有的通用领域研究（如AbstentionBench、QuestBench等）都报告过非常相似的结论：大模型在“给出答案”的奖励驱动下，系统地缺乏“拒绝回答”或“追问澄清”的激励。法律场景之所以特别适合做这个问题的测试床，是因为法律上的“信息重要性”由法条和判例结构客观决定，不受标注者主观偏好影响；同时，在法律场景中一旦补错了信息，代价极其高昂。

构建更可靠的法律AI：基准测试的启示与展望

这篇论文带来的启示是清晰的。如果想让法律AI真正可用，研发重点不能只放在提高推理精度上，还需要系统性地构建“信息核查”能力。一个法律AI产品应该像真正的律师那样，在给出答案之前先做案件受理：主动识别决定法律结果的变量，确认司法管辖区、主体身份、时间节点这些关键事实，而不是等着用户把一切都主动讲清楚——因为用户通常不知道什么信息才是法律上重要的。

从技术层面看，论文提出的八类缺失要素分类体系可以直接用于设计追问策略。比如，可以针对每一类要素预置一组澄清问题模板；或者在RLHF（基于人类反馈的强化学习）训练中加入“在信息不足时追问”的奖励项，让模型学会在适当的时候“闭嘴问问题”。有研究者已经在医疗AI中探索了类似思路，法律领域完全可以借鉴。

当然，基准本身也有局限性。论文坦诚地指出，八类缺失要素并不能覆盖所有法律信息类型，尤其在时效和对价这两个类别上角色的上下文依赖性很强。数据规模上，由于每个测试项都需要律师逐句标注，目前202项的规模还限制了分类别分析统计效力——比如损害事实类有114个变体，而对价只有7个，在做横向类别比较时需要谨慎。此外，评估的裁判模型整体上对“模型是否识别了缺失要素”的判断是否完全可靠，还需要更多细粒度的验证；论文用三种不同裁判模型交叉验证了整体趋势，但在逐项标注层面的一致性仍有提升空间。

作为第一个面向查询侧信息不足的法律基准，这项工作为法律AI评估开辟了一个新维度：如何让AI在“多问一句”和“直接回答”之间找到正确的平衡。这不仅是法律场景的需求，也是医疗、金融、政务等所有高风险AI应用共同面临的挑战。也许在不久的将来，“知道什么时候该问问题”会像“知道问题的答案”一样，成为大模型能力评估的标配维度。

龙迷三问

下面是龙哥对于大家可能的一些问题的解答：

这篇论文到底在解决什么问题？法律AI最大的坑不是答错，而是信息不全时“装懂”：默默假设缺失事实并自信作答。汤森路透与帝国理工推出InsufficiencyBench，用202个查询项评测10款前沿模型，结果F2最高仅0.46，最好的模型也漏掉约1/3关键信息

这篇工作最值得看的点是什么？所有模型在元素识别F2上均未超过0.46，中位数F2为0.363；GPT-5.2表现最佳（F2=0.455，召回率=0.666），DeepSeek-V4-Pro表现最差（F2=0.279，召回率=0.321）

这篇工作的边界或风险在哪里？优点：首次系统性地定义和评估法律查询信息不足问题，提出八类规范缺失要素分类体系，数据集由执业律师精心标注，评估框架完善。缺点：数据集规模有限（202项），仅覆盖美国法律领域，评估依赖LLM判断器存在一定噪声，单轮评估设置未能覆盖多轮对话场景。

如果你还有哪些想要了解的，欢迎在评论区留言或者讨论~

龙哥点评

论文创新性分数：★★★★☆

首次提出“查询侧信息不足”的法律基准，并建立了结构化的缺失要素分类体系，切入点新颖且有实际价值。不过方法层面主要依赖现有的LLM裁判+分类体系设计，未引入新的模型架构或训练方法。

实验合理度：★★★★☆

使用两位资深律师撰写并标注数据，同提示词统一评估十个模型，三种裁判模型交叉验证，设计较为严谨。不足在于不同类别间样本量差异较大（损害事实类114例而对价仅7例），横向比较的统计效力有限。

学术研究价值：★★★★★

将“可回答性”引入法律AI评估，为后续研究提供了系统化的分类体系和公开数据集，开辟了评测的新维度，研究推动意义显著。

稳定性：★★★☆☆

基准构建依赖专家人工标注，数据规模有限（202项），在更细分领域和更多司法辖区上的稳定性尚需更大规模验证。裁判模型间的稳定性已做验证，但仍有细粒度提升空间。

适应性以及泛化能力：★★★☆☆

目前仅覆盖美国24个司法辖区和六个法律领域，对非美国法律体系、多语言场景、行政法等领域尚未覆盖。八类分类体系框架具有迁移潜力，但需针对各辖区重新标注验证。

硬件需求及成本：★★★★☆

作为评估基准，无独立训练开销；评估一个模型需调用LLM裁判进行打分，推理成本在可接受范围内。数据集本身已开源，无需额外算力复现。

复现难度：★★★★☆

测试数据已在Hugging Face公开，论文给出了详细的构建方法和全部指标定义。但完整复现标注流程需要具备美国法律专业知识的人员参与，门槛较高。

产品化成熟度：★★★☆☆

评估框架可以直接用于法律AI产品的质检环节，但分类体系需要结合具体业务场景做定制化调整。基准中的八类要素不完全等同于产品中的追问策略，产品落地需要额外的策略设计。整体而言，这是一个很好的评估工具，而非开箱即用的产品方案。

可能的问题：部分类别的边界存在重叠（如时效和对价在特定场景下会跨模式），不同类别间样本量差异较大，分类别结论需谨慎解读。此外，论文对所有模型采用极简提示词“请回答该问题”，未测试在专业提示词或few-shot示例下的表现，这虽然模拟了真实用户场景，但也意味着当前结果可能低估了模型的真实潜力。裁判模型评估的细粒度一致性（逐项标注层面）也缺乏详细报告。

主要参考文献

[1] Vincent S J, Calloway D, Yu F, et al. InsufficiencyBench: Evaluating LLM legal advice on underspecified user queries. Thomson Reuters Foundational Research & Imperial College London. https://arxiv.org/pdf/2608.20220v1.pdf

[2] Guha N, et al. LegalBench: A Collaboratively Built Benchmark for Measuring Legal Reasoning in Large Language Models. 2023.

[3] Magesh V, Surani F, Dahl M, et al. Hallucination-Free? Assessing the Reliability of Leading AI Legal Research Tools. 2024.

[4] Zhang Y, et al. AbstentionBench: Towards Pessimistic LLM Evaluation. 2025.

[5] Qian C, et al. QuestBench: Can LLMs ask the right question to acquire information in reasoning tasks? 2025.

[6] 数据集：https://huggingface.co/tri-fair-lab/insuficient_queries