← 返回 PaperDaily 大模型与智能体

佐治亚理工最新研究：LLM像人一样读故事？回指消解也有“人味”

LLM的“阅读理解”到底是真懂还是背题？佐治亚理工这篇论文把认知科学里研究人类回指消解的经典实验，原封不动搬到5个开源大模型身上，用surprisal和准确率当探针测“人味”。结果显示：Mistral-7B和GPT-2-XL的整体表现最像人类读者。

龙哥读论文发布于 2026-08-16 00:20:00 阅读 4 查看原文

#大语言模型 #NLP

原论文信息如下：

论文标题:
Human-Like Anaphor Resolution in Large Language Models 发表日期:
2026年08月论文作者:
Keane Zhang, Varshini Chinta, Raj Sanjay Shah, Sashank Varma 发表单位:
Georgia Institute of Technology 原文链接:
https://arxiv.org/pdf/2608.05630v1.pdf

大语言模型（LLM）越来越会“读”东西了。但有一个关键问题始终悬而未决：模型在阅读时，是否真的像人一样，会在心里构建一个不断更新的“故事世界模型”，并按照人类认知规律去理解每一句话？

佐治亚理工学院的团队最近在arXiv上发布了一篇论文，专门来较真这件事。他们挑了一个在认知科学里被研究得非常透彻的语言现象——回指消解（Anaphor Resolution），也就是搞清楚“它”“他”到底指代的是前文中的谁。这听起来像小学语文的指代题，但实际上是衡量一个语言系统是否真正理解语篇的高难度动作。

引言：为什么回指消解是检验LLM“人味”的试金石

回指（Anaphor）是指语言中用来指代前文某个表达（称为先行词）的词语，代词是最典型的例子。比如“小明买了一本书，他非常喜欢。”这里的“他”就是回指，“小明”就是先行词。把这两者连接起来的过程，就叫回指消解。

对人类读者来说，这个任务看起来毫不费力——除非碰上那种结构复杂的句子。但真正的难点其实藏在这个简单过程的背后：当我们读一个故事时，大脑会持续构建一个关于故事世界的心理模型（认知科学称之为情景模型），而回指消解本质上就是从这个模型里检索信息的过程。这个检索的快慢和成败，会受到很多因素的影响：先行词在故事里是否被强调、它和回指词之间隔了多少句话、在故事世界里隔了多远、隔了多久、它跟回指词像不像、有没有其他干扰项……

过去的几十年里，认知科学家把人类回指消解的影响因素拆解得非常细致。现在，佐治亚理工的团队想反过来问一个问题：LLM在阅读时，会不会也受这些因素的影响？如果会，那就说明模型确实在某种程度上模拟了人类构建情景模型的过程——这对“LLM能不能作为人类语言处理模型”这一认知科学的根本问题，是一个重要的证据。

这个研究的设计思路非常“科学”：不追求刷新某个NLP榜单的分数，而是直接采用认知科学中经典的实验范式，把人类被试换成LLM，把人类的阅读时间和答题正确率换成模型的surprisal（意外度）和回答理解题的正确率。这样就能在同一个框架下，直接比较模型和人类对同样的文本刺激会产生怎样的行为反应。这类研究在认知科学领域里被称为“认知对齐”研究，这也是当前从NLP到认知科学都在关注的新兴方向。

认知科学如何拆解回指消解难题

在把人（和模型）拉来做实验之前，先来看看认知科学发现了哪些影响回指消解的因素。这篇论文一共考察了六大因素，分别来自语篇结构、情景模型和语义三个层面。

语篇结构层面有两个因素：第一个是先行词主题化。如果先行词在文本中被标题或主题句强调了（比如故事标题就是“机械师的一天”），那么它在读者情景模型中的“显眼度”就高，后续指代它时消解速度更快、准确率更高。第二个是句子距离，指回指词和先行词之间间隔了多少个句子。隔得越远，需要从记忆里“搜索”的范围就越大，消解就越慢、越容易错。

情景模型层面也有两个因素，但它们不是看字面距离，而是看故事世界里的“心理距离”。一个是空间距离：比如先行词说的是“厨房里的椅子”，后面回指时人物已经到了“车库”，那消解起来就要费点劲；另一个是时间间隔：比如两个事件之间只隔了10分钟，还是隔了2小时——研究表明，时间跨度越大，先行词在情景模型里的可及性越低。这部分实验材料来自Anderson等人1983年的经典研究和Varma与Janssen 2019年论文里的文本。

语义层面同样有两个因素。一个是语义重叠度：回指词和先行词的含义越接近，消解越快。比如前文提到“金属椅子”，后面用“金属家具”来指代，如果椅子是家具的典型成员，消解就快；如果先行词是个不太典型的成员（比如“金属凳子”），就慢一些。另一个是语义干扰：如果故事里除了正确的先行词外，还有一个同类别但不是先行词的东西（比如“木桌子”），它就会在记忆检索中形成干扰，拖慢消解过程。

这六个因素的厉害之处在于：它们是在数十年的行为实验中被反复验证过的，对人类读者有稳定且可复现的影响。这就给了本文一个非常扎实的“标尺”——如果LLM在这六个因素上表现出跟人一样的模式，那就是硬碰硬的认知对齐证据；如果表现不出来，那就说明模型用的策略跟人类不一样。

六因素考验：LLM的“人味”有几分

在人类被试身上反复验证的六大因素，被论文作者一一搬到了LLM面前。这六个因素彼此并不孤立，而是分别来自语篇结构、情景模型和语义三个层面，正好对应了人类阅读理解的不同深度。

第一个因素：先行词主题化。如果先行词在文本里被“特殊照顾”了——比如故事标题就叫《机械师的一天》，那“机械师”这个角色在读者心里的存在感就会特别强，后面出现“他”的时候，读者几乎不用思考就能对上号。这种突出效果，在认知科学里叫“话语显眼度”（discourse prominence）。

第二个因素：句子距离。回指词和先行词之间隔了多少个句子。隔得越远，读者需要在记忆里“翻箱倒柜”的范围就越大，反应自然就越慢、越容易错。这个效应是Clark和Sengul在1979年的经典实验里发现的，几乎是语篇加工领域的“铁律”。

第三个因素：空间距离。注意，这个距离不是字面上的句子数量，而是故事世界里两个物体之间的物理距离。比如先行词说的是“厨房里的金属椅子”，回指时人物已经走到“车库”了，这时候椅子在情景模型中的可及性就会降低。这个效应的经典来源是Morrow、Greenspan和Bower在1987年用“迷宫实验”发现的。

第四个因素：时间间隔。同样在故事世界里，两个事件之间隔了多久。Anderson等人（1983年）做过一个经典的实验：机械师踢了金属椅子，然后需要开车回家拿工具再回来——如果只花10分钟，读者对“椅子”的记忆还很鲜活；如果花了2小时，消解速度就会明显变慢。这就是所谓的时间“情景距离”。

第五个因素：语义重叠度。回指词和先行词在语义上有多接近。回指词“金属家具”能找到先行词“金属椅子”，靠的是“椅子”是“家具”的典型成员。但如果先行词是“金属凳子”这种不太典型的成员，消解起来就费劲一些。这个因素测量的是回指词作为“记忆线索”的有效性。

第六个因素：语义干扰。故事里除了正确的先行词，还有一个同类但不是目标的东西。比如“机械师走过木桌子”——“桌子”也是家具，但它不是“椅子”。读者在记忆里检索“家具”的时候，这个不速之客就会出来捣乱，拖慢消解速度。干扰越强，消解越慢、越容易出错。这就是认知科学里说的“语义干扰效应”（semantic interference effect）

这六个因素的妙处在于：它们都是在成千上万的人类被试身上反复验证过的，效应稳定、方向明确。论文作者把这六个因素当作“标尺”，去量LLM的阅读理解过程到底像不像人。

六路夹击之下，LLM的小脑袋瓜得同时处理语篇结构、空间叙事、时间线索和语义冲突——这可比做填空题刺激多了。

从surprisal到准确率：两大行为探针

有了六因素标尺，还得有测量工具。论文采用了两大行为探针：一个是模型端的surprisal（意外度），另一个是模型回答理解题的正确率。

先说surprisal。这个概念来自信息论，核心思想很朴素：一个语言模型在读到第i个词时，会按照自己的概率分布预测下一个词。如果模型对下一个词的出现概率估计得很低，而这个词偏偏出现了，说明模型“没想到”——这时模型内部的信息量就大。数学上定义如下：

surprisal = −log₂(pᵢ)

其中pᵢ是模型分配给第i个词的概率。这个词越出乎意料，surprisal值就越大。认知科学里有一个被广泛采用的假设——linking hypothesis（联结假说）：人类读到一个意外词时，眼动停留时间会变长，脑电信号也会出现特定波动；而模型对同一个词的surprisal越高，对应的阅读时间就越长。换句话说，surprisal可以当作模型版的“阅读时间”来用。

论文的具体做法是：计算每个文本里回指词（比如“金属家具”）所有token的平均surprisal，然后在每篇文本的4个版本（A/B/C/D）内部做归一化，消除文本之间的绝对难度差异。归一化公式如下：

(surprisal − min(surprisalⱼ)) / (max(surprisalⱼ) − min(surprisalⱼ))

其中surprisalⱼ表示第j篇文本在4个版本（A-D）下的surprisal集合。这样归一化之后，每个版本的surprisal值都在0到1之间，可以直接比较不同文本和不同模型的结果。

第二个探针直接得多：每篇文本后面跟着一道理解题，专门考察回指词到底指代的是谁。模型读完文本后，被要求回答这道题。但LLM的答案是开放式文本，怎么自动判断对错呢？论文采用了一个很有时代感的方法——LLM-as-a-judge（大模型当裁判）：让Gemini-2.5-flash-preview-09-2025当判官，把模型的回答和标准答案一起发给它，要求它先给出一段简要说明，然后输出二值判断（1表示正确，0表示错误）。

实验被试是5个开源权重模型：GPT-2-XL（15亿参数）、Llama-3.1-8B（80亿参数）、Pythia-12B（120亿参数）、Mistral-7B（70亿参数）、Mistral-24B（240亿参数）。从最老的GPT-2到最新的Mistral，覆盖了不同代际和不同规模的Transformer架构模型。这个选型很有意思——不是为了刷榜，而是为了看不同“年龄段”的模型在认知对齐上有没有差异。

实验揭晓：谁像人，谁不像

整个实验分三场进行，分别对应语篇结构因素、情景模型因素和语义因素。每一场实验里，文本都被设计成4个版本，通过正交操纵两个因素，形成“最易消解”（版本A）到“最难消解”（版本D）的梯度。如果模型像人一样敏感于这些因素，那么它的surprisal和准确率应该呈现出：A版本最容易（surprisal最低、准确率最高），D版本最难（surprisal最高、准确率最低），B和C版本居中。

实验一：语篇结构因素（主题化 × 句子距离）

实验材料来自O'Brien（1987年）的经典研究，共16篇文本。先行词和回指词之间要么间隔约5.6个句子（近距离），要么间隔约15.2个句子（远距离）。同时，先行词要么被文本标题主题化（高显眼度），要么不被主题化（低显眼度）。四舍五入就是一个2×2的设计。

图1：回指词上的平均surprisal随先行词主题化和句子距离的变化（实验一），误差线为16个文本的标准误

先看surprisal结果（图1）。预测模式是：A版本（近+主题化）surprisal最低，D版本（远+非主题化）最高，B和C居中。GPT-2-XL、Llama-3.1-8B、Pythia-12B、Mistral-7B这四个模型都呈现了方向正确的梯度——也就是说，当人类读者消解速度更快的时候，模型的“意外度”也确实更低了。这四兄弟在“阅读时间”层面表现出了和人类一致的模式。

图2：平均理解题正确率随先行词主题化和句子距离的变化（实验一），误差线为标准误

再看理解题准确率（图2）。结果就分化了：只有GPT-2-XL完全符合预测模式——主题化先行词和短距离都让准确率上升，而且四版本排序完全正确。Mistral-7B只有部分符合（正确排序了A和D两个极端条件）。更微妙的是，Llama-3.1-8B和Mistral-24B在理解题上出现了“天花板效应”——几乎全对，没有给不同条件留下区分空间。这其实是个有意思的现象：能力太强反而在认知对齐实验里显得“没差异”。

实验二：情景模型因素（空间距离 × 时间间隔）

实验二用的材料是Varma和Janssen（2019年）实验一的19篇文本。这次操纵的不再是句子数量，而是故事世界里的空间远近和时间长短。先行词和回指词之间由平均15.1个句子隔开，但空间上可能在同一个房间或相距很远，时间上可能只过了10分钟或长达2小时。

图3：回指词上的平均surprisal随空间距离和时间间隔的变化（实验二），误差线为标准误

surprisal结果（图3）里，Llama-3.1-8B和Mistral-7B都呈现了预测的方向性模式：空间距离越远、时间间隔越长，模型的意外度越高。这里的“空间”和“时间”都不是文本表面的字距，而是模型需要从字面描述中自行推断的深层叙事信息——模型能对这些因素产生反应，说明它内部的表征里多少带上了一点“故事世界感”。

图4：平均理解题正确率随空间距离和时间间隔的变化（实验二），误差线为标准误

准确率方面（图4）依旧只有GPT-2-XL完全符合预测，其他模型虽然正确排序了A和D两个极端条件，但中间版本B和C的顺序有些乱。作者指出，整体看准确率差异偏弱，说明理解题这一指标在这些材料上分辨力有限。

实验三：语义因素（语义重叠度 × 语义干扰）

实验三用的还是Varma和Janssen（2019年）的文本，但改换操纵维度：先行词是类别的典型成员（比如“金属椅子”，和回指词“金属家具”语义重叠高）还是不典型成员（比如“金属凳子”，重叠低）；同时文本里会不会出现一个同类别但不是先行词的干扰项（比如“木桌子”），以及这个干扰项是典型还是非典型成员。

图5：回指词上的平均surprisal随语义重叠度和语义干扰的变化（实验三），误差线为标准误

结果显示（图5），没有任何模型完全符合预测模式，只有GPT-2-XL部分符合（正确排序了A和D两个极端条件）。当干扰项的语义类别和先行词重叠时，人类读者会有明显的检索困难，但LLM对这种干扰表现得相当“迟钝”。

图6：平均理解题正确率随语义重叠度和语义干扰的变化（实验三），误差线为标准误

准确率方面（图6）只有一个模型——Llama-3.1-8B——符合预测模式，但它的整体准确率又低得可怜。综合surprisal和准确率来看，语义层面的两个因素对LLM的“折磨”明显小于对人类读者的“折磨”。

三个实验的宏观图景已经浮现了。把这六个因素的结果汇总来看：在语篇结构因素上（主题化、句子距离），几乎所有模型的surprisal都表现出人类式的敏感；在情景模型因素上（空间距离、时间间隔），半数模型有敏感度；而在语义因素上（重叠度、干扰），几乎没有模型能扛住。论文用表格做了清晰的总结，龙哥直接放出原文汇总表：

表1：LLM在回指消解的语篇、情景模型和语义因素中呈现人类式方向性模式的总结

这张表揭示的规律非常清楚：距离类因素（句子距离、空间距离、时间间隔）相对容易在模型里产生效应，因为Transformer的自注意力机制天然就有近因偏好——离得越近的token，注意力权重自然越高。这跟人类工作记忆的搜索过程虽然机制不同，但行为层面确实产生了类似的梯度。而语义干扰效应需要模型在记忆检索时进行结构化的竞争抑制——这是认知理论里强调的核心机制，但当前的Transformer架构里并没有显式实现这种机制。这个不对称性，可以说是整篇论文最有价值的发现之一。

另一个值得注意的细节是：综合三个实验来看，最老的GPT-2-XL在surprisal和准确率两个指标上都表现得相当不错，而最新的Mistral-24B反而在理解题上因为天花板效应失了分。这提醒我们：模型能力和认知对齐，是两个不完全重叠的轴。

GPT-2-XL这个老兵，在认知对齐赛道上意外地打出了“不错不错”的成绩。

局限与未来：向更深层话语理解迈进

论文最大的遗憾，也是作者自己坦诚指出的：实验材料太少了。实验一16篇文本，实验二和实验三各19篇文本，每篇只有4个版本。这意味着什么呢？没法做严格的统计检验。作者只能给出描述性统计和方向性判断，无法用方差分析或者混合效应模型来确认这些趋势在统计上是否显著。

有人可能会问：为什么不把同一个模型多跑几次，生成一堆“模拟被试”来做统计？作者明确拒绝了这个方案，理由很扎实——没有理由相信模拟被试之间的差异方式跟人类被试一样。人类之间的差异来自于工作记忆容量、执行功能、背景知识、阅读技能等真实变量，而LLM增加采样温度造成的随机波动，并不能等价于人类个体差异。与其做伪统计，不如老实承认描述性观察。

此外还有LLM-as-a-judge本身的局限：二值打分过于粗糙，自动裁判系统也有已知偏差，可能跟真人判断有差异。所以论文明确说：准确率数据只能当近似值看。

未来方向也很有画面感：除了这六个因素，人类回指消解还受事件边界的影响——当先行词和回指词属于不同叙事事件时，消解更难。这类更深层的话语处理机制，对LLM来说会是更严苛的考验。论文还提到，这些认知科学发现可以帮助NLP研究者设计更好的共指消解评测基准——别再像现在这样只测准确率了，得在测试集里系统性地操纵这些已知的认知因素。

龙迷三问

下面是龙哥对于大家可能的一些问题的解答：

这篇论文到底在解决什么问题？用认知科学经典实验范式检验5个开源大语言模型，发现部分模型对人类回指消解的六大影响因素表现出“选择性认知对齐”，其中Mistral-7B与GPT-2-XL整体最像人类读者。

这篇工作最值得看的点是什么？实验显示，部分模型在部分因素上表现出与人类一致的方向性模式。例如，Mistral-7B在实验1和2的surprisal上展现良好对齐，GPT-2-XL在多个指标上也有稳健表现；但多数模型对语义干扰和相似性因素不敏感，绝对准确率普遍偏低。

这篇工作的边界或风险在哪里？优点：第一，将认知科学理论框架引入LLM评估，提出用surprisal和准确率两个互补指标，系统考察六种理论驱动因素；第二，覆盖多个模型，比较全面；第三，揭示了模型对距离/显著性因素敏感但对语义干扰不敏感的选择性对齐。缺点：第一，样本量小…

如果你还有哪些想要了解的，欢迎在评论区留言或者讨论~

龙哥点评

论文创新性分数：★★★★☆

采用认知科学的经典实验范式，利用LLM在回指词上的surprisal和回答问题准确率作为行为指标，系统评估模型对六种影响人类回指消解因素的敏感性。

实验合理度：★★★★☆

学术研究价值：★★★★☆

采用认知科学的经典实验范式，利用LLM在回指词上的surprisal和回答问题准确率作为行为指标，系统评估模型对六种影响人类回指消解因素的敏感性。

稳定性：★★★☆☆

优点：第一，将认知科学理论框架引入LLM评估，提出用surprisal和准确率两个互补指标，系统考察六种理论驱动因素；第二，覆盖多个模型，比较全面；第三，揭示了模型对距离/显著性因素敏感但对语义干扰不敏感的选择性对齐。缺点：第一，样本量小…

适应性以及泛化能力：★★★☆☆

硬件需求及成本：★★★☆☆

不适用（本文为评估研究，未涉及新模型计算量）。

复现难度：★★★☆☆

现有材料未确认完整代码、配置、数据处理脚本和权重是否齐备，复现难度暂按中性评价。

产品化成熟度：★★★☆☆

可能的问题：优点：第一，将认知科学理论框架引入LLM评估，提出用surprisal和准确率两个互补指标，系统考察六种理论驱动因素；第二，覆盖多个模型，比较全面；第三，揭示了模型对距离/显著性因素敏感但对语义干扰不敏感的选择性对齐。缺点：第一，样本量小…

主要参考文献

[1] O'Brien, E. J. (1987). Antecedent search processes and the structure of text. Journal of Experimental Psychology: Learning, Memory, and Cognition, 13, 278–290.

[2] Varma, S., & Janssen, A. (2019). The structure of situation models as revealed by anaphor resolution. Language Sciences, 72, 104–115.

[3] Hale, J. (2001). A probabilistic earley parser as a psycholinguistic model. Proceedings of the 2nd Meeting of NAACL.

*本文仅代表个人理解及观点，不构成任何论文审核或者项目落地推荐意见，具体以相关组织评审结果为准。欢迎就论文内容交流探讨，理性发言哦～想了解更多原文细节的小伙伴，可以点击"阅读原文"，查看更多原论文细节哦！