← 返回 PaperDaily 大模型与智能体

东京大学最新研究：LLM游戏世界不再“过目忘”，JSON状态工程让游戏世界活起来！

LLM驱动的游戏通常只擅长“聊天式”角色扮演，但世界却是“过目忘”的——NPC不记得你是谁，你改变不了世界。本文把这个问题当成架构问题而非模型问题来解决，用一套严格的JSON状态+POMDP形式化框架，把“这个世界会记住你”这件事从口头承诺变成了可验证的工程现实。

龙哥读论文 阅读 4 查看原文
#大语言模型 #Agent #模型架构
东京大学最新研究：LLM游戏世界不再“过目忘”，JSON状态工程让游戏世界活起来！
🐉 龙哥读论文知识星球来了！
公众号每日8篇拆解不够看？星球无上限更AI领域论文、资讯、招聘、招博、开源代码，一站式干货，每日2分钟刷完即赚！ 👇扫码加入「龙哥读论文」知识星球，前沿干货、实用资源一站式拿捏～ xingqiu_header

龙哥推荐理由：
LLM驱动的游戏通常只擅长“聊天式”角色扮演，但世界却是“过目忘”的——NPC不记得你是谁，你改变不了世界。本文把这个问题当成架构问题而非模型问题来解决，用一套严格的JSON状态+POMDP形式化框架，把“这个世界会记住你”这件事从口头承诺变成了可验证的工程现实。


原论文信息如下：
论文标题:
Orchestrated Reality: From Role-Play to Living, Playable Game Worlds
发表日期:
2026年6月

发表单位:
The University of Tokyo, Japan (东京大学)

原文链接:
https://arxiv.org/pdf/2606.16014v1.pdf
插图
玩过那种LLM驱动的角色扮演游戏吗？你深情地跟酒馆老板对话半小时，换个房间回来，老板就不认识你了。更离谱的是，你明明把剑放进箱子，回来发现箱子被“重置”了。
这就是现今LLM驱动游戏世界的通病：世界的状态全靠LLM的“自由文本”来维持，没有校验，没有持久化。 这种“世界过目忘”的体验，让LLM游戏始终停留在“聊天机器人”层面。
来自东京大学的研究团队，把这个问题看作是架构问题而非模型能力问题。他们提出的“编排现实”框架，严格定义了游戏世界如何被建模、状态如何被管理、动作如何被校验。核心思想很简单：别让LLM说了算，让它提议，然后由一套严格的规则引擎来把关。

问题：LLM驱动的游戏世界为何不连贯？

现有系统有三个致命问题：

第一，无状态 会话结束世界就消失，所谓“记忆”只是未超出上下文窗口的聊天记录。

第二，无校验的写入 LLM可随口“断言”任何世界变化，如“你杀了巨龙”，没有任何校验机制，导致状态“悄悄漂移”。

第三，单一智能体 同一个LLM既要描述环境、又要给每个NPC配音、还要裁决规则，什么都做不长远。

解决方案：将世界视为参数化动作POMDP

论文最核心的贡献，是把LLM驱动的游戏世界形式化为一个参数化动作的部分可观察马尔可夫决策过程（Parameterized-Action POMDP）。

世界状态是一棵 JSON 实体树

在传统系统中，游戏世界是隐式上下文缓存。在这个框架中，世界变成了显式的、存储在磁盘上的JSON文件树。每个实体——小镇、NPC、任务历史、派系关系、玩家档案——都是一个带有类型模式的JSON文档。状态可检查、可差异比较、可通过内容哈希寻址。

POMDP 的形式化建模

论文将游戏世界建模为元组 (S, A, Ω, O, F, ρ0)。动作 a = (k, xk)，k是离散意图类型，x_k是结构化JSON参数。玩家通过观察函数O获得叙述性投影ot。框架通过两个设计确保马尔可夫性质：事件溯源与内容哈希将历史折叠进状态st；校验作为转换守卫，LLM的“散文”输出无法静默改变状态。st+1是(st, at)的函数，LLM仅被降级为提出变化方案Δ。

核心机制：从“自由文本”到“规范JSON”的转变

最重要的机制是PDVA流水线——Plan-Diff-Validate-Apply。以玩家走进“生锈船锚”酒馆为例：

第一步：Plan 上下文构建器读取玩家当前位置（town_square），收集相关NPC（酒馆老板Milo和守卫Ivor），构建JSON上下文。

    { "player_input": "I walk into the Rusty Anchor tavern.", "context": { "player": {"position": "town_square", "gold": 15}, "nearby_npcs": ["barkeep_milo", "guard_ivor"], "location": "town_square" } }

    第二步：Diff 世界智能体返回叙述性文字和结构化提议修改Δ：

      { "narrative": "You push open the heavy oak door...", "delta": [ {"path": "player.position", "op": "set", "value": "rusty_anchor_tavern", "actor": "player"} ] }

      第三步：Validate 三层检查：SchemaOK（路径是否符合模式）、PermOK（写入权限）、RuleOK（是否需要技能检定）。

      第四步：Apply 校验通过的修改被原子性提交，事件记入日志，新状态被哈希。

      这个流程最妙的地方在于，每一次引擎决策都在事件日志中可见，每个状态都可以通过重放日志恢复，为可审计、可调试、可分支提供了基础。
      图1：世界智能体架构图。一个单例世界智能体（顶部）读取规范JSON状态，整合来自专业子智能体（规则、战斗、环境裁判）以及未来工作中的并行NPC思维（虚线组）的提议，通过PDVA校验阶段，然后提交一个内容哈希更新到事件溯源历史中。
      图1：世界智能体架构图。
      图2：玩家看到的持久化循环。世界智能体进行叙述（顶部），但每一步都锚定在持久、可检查的世界状态上——位置、时间、以及玩家的HP、金币和物品栏，提供的选择也是该状态的函数。
      图2：玩家看到的持久化循环。

      龙哥导读

      刚读完这篇论文，龙哥就一个感觉：这路子野，但野得有章法。
      现在市面上所有的LLM角色扮演游戏，说白了就一个“会聊天的记事本”。你上线跟NPC聊半小时，一刷新全白费。这根本不是模型能力问题，是架构问题。东京大学这帮人看透了这一点，他们没说“换个更强的LLM”，而是说：我们得给这个世界建个数据库，让LLM只有“建议权”，没有“盖章权”。
      这么做的好处是——

      游戏世界终于有了“记忆”，不再是一聊就忘的“金鱼脑”。

      游戏状态变得可审计、可回放，任何一个瞬间的状态都能被精准复现。

      游戏设计不再依赖“提示词工程”，而是有了正规的工程框架。

      虽然目前还是个“进行中的工作”，很多验证还停留在计划阶段，但这套思想，龙哥觉得，可能正是下一代AI原生游戏该长成的样子。

      实际效果：15个来自真实部署的案例

      研究团队在约5名测试者中进行了三个月非正式部署测试，从游玩历史中挖掘出15个具体事件，展示框架各机制运行情况。

      P1：多智能体编排 框架将上下文分发给专门子智能体，随场景切换动态调整活跃智能体，避免了“一个LLM包打天下”的角色混淆。

      P2：JSON强制记忆注入 一个“消失”了16轮对话的命名实体被重新注入上下文，角色智能体回忆早期遭遇后整合进长期记忆，明确声明“这是我第一个可以信任的伙伴”。

      P3：JSON状态流 每轮都是经模式校验的增量更新，应用到JSON文件并生成内容哈希，整个目录变得可审计。

      三个月运行未出现明显的状态崩溃或记忆矛盾失控，初步验证了框架设计有效性。

      未来工作与开放式问题

      论文的“验证”部分是薄弱环节，作者们坦诚地列出了后续需要攻克的开放式问题。

      确定性 vs. LLM随机性 哈希优先提交保证了可重放性，但真正可复现需记录每次模型调用，如何设计不爆炸存储的记录/重放接口是开放问题。

      每角色成本控制 多NPC并行时API成本线性增长，需设置每轮令牌数、墙钟上限和并行智能体数量上限。

      叙述漂移 PDVA只校验模式内字段，未纳入规范状态的细微NPC特征可能漂移（如“缺失的手指”从左手换到右手）。需丰富实体模式或增加下游一致性守卫。

      有效性威胁 规则集R必然不完整，叙述输出ot未被校验，框架主要与一个LLM提供商标定过，跨模型泛化性未知。

      论文还介绍了正在设计的玩家研究方案：2×3受试者内实验，对比无状态聊天角色扮演与持久化循环的体验差异，通过miniPXI和PAX量表测量。研究团队希望回答三个问题：RQ1——持久化世界状态是否提升玩家体验；RQ2——是否增加角色依恋；RQ3——有校验的持久化如何改变玩家心智模型。实验设计严谨但尚未进行，所有关于玩家体验的结论仍是开放性的。
      总的来看，“编排现实”给LLM驱动的游戏世界提供了一套理论上更严格、工程上更可靠的框架。它把游戏世界从一个“会说话但没记忆”的聊天机器人，变成了“有记忆、有逻辑、可审计”的持久化环境。虽然还缺大规模玩家实验，但其方向和技术思路，很可能是下一代AI原生游戏正确的前进路径。

      龙迷三问

      下面是龙哥对于大家可能的一些问题的解答：

      Q1：这篇论文解决了LLM游戏世界的哪个核心痛点？A1：主要解决了LLM驱动游戏世界时无法维持连贯世界状态的问题。现有系统的三个典型失败模式是：会话结束世界就消失的“无状态”、LLM可随意声称任何状态变化的“无校验写入”、以及一个LLM同时负责所有角色的“单一智能体”困境。本文通过引入以JSON为规范状态的框架，配合PDVA流水线，从根本上解决了这些问题。

      Q2：什么是Parameterized-Action POMDP，为什么用它来形式化游戏世界？A2：这是本文最核心的理论贡献。Parameterized-Action POMDP是一种描述决策问题的数学模型。“POMDP”说明玩家对世界的认知不完整，只能通过叙述性输出了解；“参数化动作”是说玩家动作被分解为离散意图加结构化参数。用这个模型形式化游戏世界，主要目的是让游戏状态的转移具有严格的数学结构（马尔可夫性质），即下一时刻状态只取决于当前状态和当前动作，而不依赖于整个聊天历史。

      Q3：这个框架现在能用吗？有什么局限性？A3：论文描述的是一个“进行中的工作”。研究团队已构建可运行原型，在5名测试者中经过约3个月非正式测试。但本文明确声明：受控的玩家对比实验目前仅在设计阶段。主要局限性包括：规则集R不完整；叙述输出ot不会被校验；框架主要与一个LLM提供商标定过；多NPC并行时API成本成倍增加。龙哥建议“看看思想，别急着用它做产品”。

      如果你还有哪些想要了解的，欢迎在评论区留言或者讨论~

      龙哥点评

      论文创新性分数：★★★★✰

      将游戏世界形式化为参数化动作POMDP并用结构化JSON作为规范状态，开创了新框架范式，但核心构件均为已有方法。

      实验合理度：★★✰✰✰

      本文明确声明为“进行中的工作”，玩家对比实验仅在设计阶段，已完成的测试（N≈5）不足以支撑定量结论。

      学术研究价值：★★★★★

      形式化框架思路清晰，为LLM驱动的游戏世界从“聊天式体验”走向“可工程化状态管理”提供了坚实的理论出发点。

      稳定性：★★★✰✰

      现有测试中未报告状态崩溃，但受限于小规模非正式测试，稳定性数据较少。

      适应性以及泛化能力：★★★✰✰

      框架设计有通用性，但仅与一个LLM提供商标定过，规则集R不完整性意味着泛化难度较高。

      硬件需求及成本：★★✰✰✰

      每轮需调用LLM，多NPC并发时成本线性增长，不适合廉价部署。

      复现难度：★★✰✰✰

      论文附带有WorldLines构件包，但未提供完整安装和运行说明，复现有较高门槛。

      产品化成熟度：★★✰✰✰

      明确为“进行中工作”，缺乏产品级验证，离可交付游戏产品还有相当距离。

      可能的问题：核心方法论值得肯定，但实验部分严重薄弱——玩家对比实验尚在设计中，已有测试规模太小，整个验证环节几乎是空缺的。


      主要参考文献

      [1] Kaelbling, L. P., Littman, M. L., & Cassandra, A. R. (1998). Planning and Acting in Partially Observable Stochastic Domains. Artificial Intelligence, 101(1–2), 99–134.
      [2] Masson, W., Ranchod, P., & Konidaris, G. (2016). Reinforcement Learning with Parameterized Actions. In AAAI 2016.
      [3] Park, J. S., et al. (2023). Generative Agents: Interactive Simulacra of Human Behavior. In UIST '23.
      [4] Hong, S., et al. (2024). MetaGPT: Meta Programming for a Multi-Agent Collaborative Framework. In ICLR '24.
      [5] Wu, Q., et al. (2023). AutoGen: Enabling Next-Gen LLM Applications via Multi-Agent Conversation. arXiv:2308.08155.

      *本文仅代表个人理解及观点，不构成任何论文审核或者项目落地推荐意见。想了解更多原文细节，可点击"阅读原文"。

      end
      欢迎加入龙哥读论文粉丝群，扫描下方二维码或者添加龙哥助手微信号加群：kangjinlonghelper。一定要备注：研究方向+地点+学校/公司+昵称（如 图像处理+上海+清华+龙哥）。
      '龙哥读论文'微信群目前包含：图像处理、大模型及智能体、自动驾驶及机器人、AI医疗及AI金融5个群
      wechat_helper dianzan
      转发文章 微博 X LinkedIn Facebook
      龙哥读论文 · PaperDaily

      本文基于龙哥读论文 PaperDaily 数据库整理，结合论文原文与工程视角进行解读。