Alaya Lab可编程世界模型：角色计数94%，状态一致性98%

图1：系统把自然语言规则写成程序，程序维护角色状态，再把状态编译为视频生成模型可使用的空间控制信号。来源：论文第1页。

一、画面很真，不等于世界真的在运转

世界模型最吸引人的想象，是让人走进一个可以持续互动、不断变化的虚拟环境。你开门，门应该保持打开；一个角色生命值归零，他应该继续倒下；镜头转开再回来，建筑、人物和物品的位置不能重新洗牌。

但视频生成模型擅长的是“接下来这一小段画面应该长什么样”，不天然擅长维护一份长期、精确、可编辑的世界账本。把全部责任交给像素预测，就像让一位画师一边画电影，一边默记每个角色的血量、身份、阵营和空间位置。短时间可能没问题，时间一长就容易漏账。

这篇论文真正解决的，不是“再生成一段更漂亮的视频”，而是“怎样让生成出来的画面服从一个持续存在的世界状态”。

二、第一步：让程序负责记账

用户先提供一张参考图，再用自然语言描述游戏规则，例如“子弹命中后扣除生命值”“生命值归零后状态变为倒下”“所有敌人被消灭后玩家获胜”。一个编码智能体把这些描述转换成可执行程序。

每个实体都有明确记录：身份、三维位置、方向、尺寸、生命值、当前动作以及是否存活。玩家做出动作后，轻量引擎先执行规则，再更新这份全局状态。即使某个角色暂时跑到镜头外，它的状态仍然保存在账本里。

论文用一个很清楚的计算链表达这个过程：当前状态经过动作和规则执行，得到下一时刻状态；下一时刻状态再结合目标相机位置，被编译成空间控制；最后才由生成模型合成新画面。

三、第二步：用带状态的三维包围盒连接程序和画面

程序里的状态是数字和规则，视频模型需要的是可以对齐到画面的条件信号。两者之间怎么连接，是整篇论文最关键的一步。

作者没有建立完整精细的三维场景，也没有只用一句文字提示，而是选择了一个折中表示：给每个实体一个三维有向包围盒，同时把身份、方向、语义类别和状态写进包围盒。

为什么是折中？只有文字时，控制很轻，但无法精确约束角色在哪里、朝向哪里；完整三维场景控制很强，却需要昂贵的建模和训练标注。三维包围盒不追求把衣服褶皱、树叶和墙面全部建出来，只保留生成过程最需要的结构骨架。

系统再根据目标相机，把这些三维包围盒投影成与像素对齐的身份、方向和语义控制图。这样，镜头移动时，控制信号会跟着相机重新计算，而不是靠一句新提示要求模型“记得刚才发生过什么”。

四、第三步：生成模型只负责渲染

图2：完整架构分为世界编程、控制编译和生成渲染三段。来源：论文第6页。

上图可以从左到右读：

左侧是世界编程。编码智能体生成规则，轻量引擎验证动作、应用规则并解决事件冲突，持续维护实体状态。

中间是控制编译。系统把三维包围盒根据相机视角投影成身份、方向和语义控制图。这一步是确定性计算，同一份世界状态和相机位置会得到明确的控制结果。

右侧是生成渲染。预训练视频生成骨干接收相机、控制图和历史视觉记忆，合成下一段视频。完成的视频块会进入时间记忆和空间记忆，帮助后续长时生成保持场景连续。

这套设计把“事实正确”和“画面逼真”拆成两个可以分别检查的模块。角色是否死亡、数量是否正确，可以查程序状态；纹理是否自然、运动是否连贯，再看生成模型。

五、实验：漂亮之外，角色真的按规则变化了吗？

作者构建了一套战斗状态评测集，专门测试战斗场景中的世界状态一致性。它不只评价画面质量，还检查角色数量和“存活—倒下”状态是否与程序中的世界状态一致。

评测包含50段视频。角色计数准确率基于400个抽样帧，每段取8帧；状态准确率覆盖50次死亡事件，并检查事件发生后的三个时间点。

图3：上方表格是视频质量与状态评测，下方比较静态和动态镜头下的角色死亡交互。来源：论文第12页。

论文方法的角色计数准确率为94%，而开源视频世界模型第二版和交互世界生成模型分别为40.75%与32%。状态准确率达到98%，两项基线分别为8%与58%。

画面指标也没有因为加入明确控制而明显牺牲：主体一致性94.74、背景一致性96.98、时间稳定性99.00，均高于表中的两项基线；综合成像质量为67.62，与最佳基线相近。

下方序列更直观。输入行给出结构化状态，三种方法分别生成五个时间点。基线可能没有正确执行角色倒下，或者在镜头和人物移动时改变角色数量；论文方法更稳定地遵循指定事件，并保留其余角色和场景演化。

六、它与其他世界模型有什么不同？

交互世界生成模型用提示切换表达状态变化，能够生成交互世界，但世界状态仍较多地依赖生成模型自己理解提示。本文把角色状态搬到外部程序中，并提供了更明确的实体级控制。

长时交互世界模型更关注长时间交互和空间记忆，本文沿用了相关的几何对齐记忆思路，但进一步加入可执行规则和状态编译，把“记住场景”推进到“按规则改变场景”。

开源视频世界模型提供预训练生成骨干。本文以其早期版本作为生成基础，并在外面增加世界状态、规则执行和控制编译。换句话说，它不是完全推翻生成模型，而是给生成模型加了一套更理性的控制系统。

最近的流式空间记忆方法则从另一侧处理长时世界模型：用相机几何和循环空间记忆，在固定内存中保留历史。两条路线可以互补——一条负责记住看过的空间，另一条负责记住世界中不可只靠画面判断的状态与规则。

七、局限：可编程，不等于已经成为通用游戏引擎

第一，规则需要被转换成程序。论文使用编码智能体完成这一步，但复杂规则是否正确、冲突如何处理，仍需要验证机制。自然语言写错一句，程序也可能忠实地执行错误逻辑。

第二，三维包围盒适合描述角色、车辆和大型物体，却不擅长表达液体、烟雾、布料、破碎或复杂接触。越细的物理现象，越可能需要更丰富的几何和动力学表示。

第三，论文重点验证角色数量和死亡状态。真实游戏还包含物品归属、任务进度、经济系统、多人协作、碰撞和长时间因果链。98%的状态准确率是当前基准里的结果，不是所有世界规则都已解决。

第四，生成渲染仍可能出现画面瑕疵。外部程序能保证“谁应该倒下”，却不能保证每一帧手指、武器、光影和碰撞都符合物理。

八、龙哥点评：世界模型需要的不只是直觉，还需要账本

龙哥很喜欢这篇工作的拆分方式。深度学习和大模型更像强大的直觉：它们擅长补全、联想和生成，但对精确规则、持久状态和可审计变化并不天然可靠。

真正可用的世界模型，可能不是让一个模型包办全部能力，而是让程序负责不能错的部分，让生成模型负责难以手写的部分。这和现实软件系统一样：数据库记录余额，规则引擎处理权限，生成模型负责理解和表达。不能因为生成画面很惊艳，就让它顺便决定所有事实。

这条路线对游戏和仿真尤其有价值。设计者可以直接修改规则和实体状态，而不是为了每种玩法重新训练一个视频模型。研究团队也能把失败拆开：是规则程序错了、空间编译错了，还是视频渲染错了。

但它的长期挑战也很明确：怎样让程序状态与生成画面持续双向校准？如果画面已经偏离，系统能否自动发现并修正账本或渲染？现在这篇论文解决了“账本如何控制画面”，下一步还需要解决“画面如何反过来检查账本”。

参考资料

1. Programmable World Model
https://arxiv.org/abs/2609.10540

2. 项目页
https://alaya-lab.github.io/pwm

3. 开源代码
https://github.com/AlayaLab/pwm

4. 交互世界生成模型
https://arxiv.org/abs/2507.17744

5. 长时交互世界建模技术报告
https://arxiv.org/abs/2607.18367

6. 开源世界模型进展
https://arxiv.org/abs/2601.20540

7. 流式世界模型的空间线性记忆
https://arxiv.org/abs/2609.40222

本文基于龙哥读论文PaperDaily数据库及PaperMiner的MCP进行汇总整理。本文为论文解读与个人学习笔记，不构成任何论文审核意见，及对产品能力、安全性或商业可用性的保证。