何恺明团队VISTA视觉智能体：13.33分升至99分

龙哥导读

何恺明团队这次没有训练一个更大的模型，而是给现有多模态模型换了一套“看、记、回头查”的工作方式。结果，在同一底层模型下，交互式视觉游戏得分从13.33分提高到99分；另一款模型从40.68分提高到100分。真正值得关注的，不只是接近满分，而是模型能力越来越取决于外部系统如何组织视觉信息。

官方演示：智能体在没有游戏说明的情况下观察画面、尝试操作、总结规则并完成多个关卡。画面来自项目主页的真实运行记录。

如果把一张64×64的彩色小游戏画面交给人，我们会自然地看到物体、边界、方向和空间关系。但过去不少智能体系统会先把每个颜色方格转换成数字，再把4096个数字排成一长串文字交给模型。信息表面上还在，二维结构却被拆散了。

更麻烦的是，一场游戏可能持续几百步。模型早期看到的机关，几十步后才显出作用；如果旧画面已经被删除，或只剩一句含糊摘要，模型就很难重新核对细节。人会翻录像，传统智能体却常常只能凭压缩后的记忆猜。

视觉交互框架（VISTA）的核心，就是把“翻录像”变成模型自己可以调用的正式能力。它让模型直接看原始画面，完整保存每一帧，并允许模型主动挑选过去的时间点、局部区域甚至具体像素重新检查。

图1：左边把世界转换为文字；中间虽然输入图片，但图片通常只编码一次；右边的VISTA允许模型在推理过程中重新取回历史画面，按当前问题重新组织视觉输入。

一、它测试的不是“会不会玩游戏”，而是陌生世界中的学习能力

论文主要使用第三代抽象推理指标（ARC-AGI-3）。测试者进入一个从未见过的像素世界，没有操作说明，也不知道胜利条件。它只能点击、移动、观察反馈，再逐步推断哪些物体能动、机关怎样触发、失败原因是什么。

这和背知识不同。题目不会问“法国首都是哪里”，也不是给一道公式直接求解。模型必须建立关于陌生世界的临时理解：一次操作改变了什么？哪些变化是因果关系，哪些只是同时发生？以前失败的路线能否帮助当前关卡？

评价也不只看是否通关。论文使用“相对人类操作效率”，把智能体的操作次数与第一次玩该游戏的人类进行比较。完成得越多、无效动作越少，分数越高；未完成的关卡则直接损失对应分数。因此，100分不只是全部通关，还意味着总体操作效率达到很高水平。

在25个公开游戏上，何恺明团队报告：Claude Opus 5使用VISTA后得到100分，总计7302次操作，比首次参与的人类参考值17135次少57.4%；OpenAI模型使用同一框架得到99分，也完成全部25个公开游戏。

但这里要立刻加一条边界：这些是公开游戏。论文明确承认，测试模型发布时间晚于部分公开题目，不能完全排除相关内容进入训练数据。真正严格的陌生任务泛化，还要看尚未公开的私有测试集。

图2：每一轮都由观察、语言推理、必要时回看历史和执行动作组成。模型不是一次性看完图片后给答案，而是在环境反馈中不断修正假设。

二、第一层变化：不要把二维世界硬翻译成一串数字

VISTA首先让模型直接接收渲染后的图片。默认输入是一张512×512图像，由原始64×64画面放大得到。模型并不会被告知底层是一个规则网格，它只看到颜色、形状、位置和变化，需要像处理普通图片一样理解世界。

这一步看起来只是换格式，实际同时改变了信息结构和上下文成本。完整的64×64数字文本网格大约需要4000个文字单位；默认图片只需要约308个图像单位。七帧画面如果写成文字，约消耗2.8万个单位；作为图片则约2200个。

更少的输入消耗，意味着模型能把更多上下文留给推理、规则总结和行动计划。消融实验中，仅把官方的文字网格换成图片，得分就从13.33提高到47.32。这并不证明图片在任何任务上都胜过文字，而是说明空间关系不应被无谓地拆散。

论文还做了反向验证：保留完整VISTA框架，只把图片重新换成文字网格，最终成绩仍然接近，但操作次数和总消耗明显上升。每个游戏的文字输入消耗约7190万个单位，图片输入约3070万个，差距超过一倍。

图3：左侧展示同一画面被写成数字文本和保留为二维图像的差异；右侧比较得分、操作次数与输入消耗。图像方式没有创造新信息，而是保留了更适合视觉模型处理的组织结构。

三、第二层变化：完整保存过去，而不是只留一段摘要

直接看当前画面只能解决“眼前看不清”的问题，长任务还需要记住过去。VISTA把环境返回的每一帧按时间顺序保存，包括一次操作过程中出现的中间动画帧。保存的是原始视觉记录，不是模型自己写的一句话总结。

为什么强调“无损”？假设第20步点击一个橙色方块，画面某处短暂闪过变化；直到第100步，模型才怀疑那是开门条件。如果第20步只留下“点击后有变化”，关键颜色、位置和形状已经丢失。完整保存原图，模型才能在新假设出现后重新取证。

它同时保留两类文字笔记。一类记录已经比较确定、可以跨关卡复用的规则；另一类保存当前关卡的临时状态、正在验证的假设和下一步计划。文字笔记负责高层概括，视觉记忆负责原始证据，两者不是互相替代。

这个设计很像办案：笔记里写“橙色方块可能控制门”，档案库里保存所有现场照片。等新线索出现，智能体可以回到原始照片核实，而不是把自己之前的猜测当成事实。

图4：上方三块分别对应直接视觉观察、无损历史保存和模型主动选择检查内容；下方是一轮完整循环。每次行动返回的画面都进入档案库，是否重新查看由模型根据当前推理决定。

四、第三层变化：不是把所有历史都塞回来，而是让模型主动查

完整保存并不等于每次都把几百张图重新输入。那样成本会迅速失控。VISTA提供只读检查工具，模型可以指定某个历史时间点，也可以一次并排取回多帧，比较操作前后发生了什么。

如果全图太小，模型还能框选局部区域放大。例如，某个方块的紫色标记位于左侧还是右侧，决定它的朝向；全局截图中很难看清，模型可以只放大这几个方块，而不必重新加载整场游戏。

对极细微的颜色差异，它还可以读取指定位置的像素值。这个能力并不是让模型绕过视觉理解，而是给它一把测量尺：大部分时候凭图像判断，真正模糊时再查精确数值。

作者把这种机制理解为“显式注意力”。普通模型只能隐式地希望自己还记得早期内容；VISTA则让模型明确决定：现在需要回看第几步、哪一帧、哪个区域。记忆从被动缓存变成了主动检索工具。

一次完整回合，模型到底做了什么？

第一步是观察。系统把当前最终画面直接交给模型，而不是先识别成一张物体清单。模型可以利用已有视觉能力判断颜色块、边界、障碍和相对位置。一次动作如果产生动画，中间帧不会全部挤进当前上下文，但会完整进入视觉档案。

第二步是形成假设。模型可能写下：“绿色物体像玩家，粉色物体可能是终点，紫色尖刺会造成失败。”这些都只是暂时判断。VISTA没有要求它立刻把整个游戏写成严密程序，而是允许它先用自然语言保留模糊但有用的认识。

第三步是选择动作。模型根据当前假设点击或移动，环境返回新画面。如果结果符合预期，假设可信度提高；如果结果相反，它需要修改规则，而不是机械重复同一操作。

第四步是主动补证据。假设“某个按钮让墙消失”时，当前画面可能已经看不到操作前的墙。模型可以取回按钮点击前后的两帧并排比较；如果差异很小，再放大相关区域，必要时读取像素颜色。

第五步是整理记忆。已经反复验证的规则进入长期笔记；只对当前关卡有用的坐标、剩余目标和下一步计划进入临时笔记。原始图片仍留在档案中，文字结论以后如果被推翻，还可以回到现场重新检查。

这套流程的关键不是工具数量多，而是每种信息各归其位：当前画面负责眼前状态，视觉档案负责事实，长期笔记负责规则，临时笔记负责计划，自然语言推理负责把它们串成下一步行动。

图5：左侧在地图重置后，一次调出过去22轮中的四帧重建完整地图；右侧只放大三个很小的方块，判断紫色标记位于哪一边。它展示了跨时间整合和局部精查两种用法。

五、99分到底是怎样一步步加出来的？

论文最有价值的实验不是最终99分，而是逐层增加能力的消融过程。官方文字网格方案为13.33分；改成直接看图后为47.32分；放宽操作和时间限制后为51.66分。

随后，系统允许模型维持连续对话，并在上下文接近上限时压缩旧内容，得分提高到65.82；加入长期规则笔记和当前任务草稿后，达到70.05。这说明语言层面的连续性和显式笔记有效，但距离满分仍有明显差距。

真正的大幅跳升来自无损视觉记忆与主动回看：加入后从70.05提高到94.10。最后增加精确像素读取，达到99分。也就是说，最大的增益不是把上下文窗口做得更长，而是让模型能重新访问原始视觉证据。

上下文实验也支持这一判断。默认约20万单位时得分最高；扩大到约78万后，每个游戏消耗从3070万增加到1.057亿，成绩却没有进一步提高。反过来，缩短到10万，得分只下降0.4，而消耗接近减半。

这给智能体设计一个很直接的提醒：记忆容量大，不代表模型会在正确时刻找到正确内容。外部档案、检索入口和信息组织方式，可能比继续堆上下文更重要。

评分公式怎么读？100分不等于每一步都完美

每个关卡先比较智能体动作数与首次参与的人类动作数。智能体如果用更少动作完成，单关效率分会更高，但设有上限，避免某个特别简单的关卡把总体成绩拉得过高。没有完成的关卡记为零。

一个游戏通常包含多个等级，越后面的等级权重越高。系统既计算已完成等级的比例，也计算各等级的操作效率，最后取更保守的结果。这样可以避免智能体只完成前面简单部分，却因为动作很少获得虚高分数。

25个公开游戏分别得到成绩后，再取平均并换算到百分制。因此，100分表示所有公开游戏都完成，并且综合动作效率非常高；它不表示每一步都采用理论上的最短路线，也不表示模型从未试错。

论文专门同时报告动作总数，就是为了区分“都通关了，但试错很多”和“都通关了，而且探索更高效”。Claude Opus 5版本总计7302次动作，对应人类参考17135次；这个差异是57.4%更少动作的来源。

图6：从图片输入、增加操作时间、连续对话、文字笔记，到无损视觉记忆和像素读取，得分逐步上升。最明显的台阶出现在模型获得主动回看历史原图的能力之后。

六、它不是只对二维小游戏有效

研究团队还把同一套框架放到34款浏览器游戏、10款公开网页游戏和静态视觉推理任务中。场景从平台跳跃、迷宫导航到连接线判断都有，模型仍然使用观察、推理、回看和行动的同一循环。

在浏览器游戏指标（GameWorld）的三次运行中，成功率分别为64.7%、64.7%和60.6%，平均约63.3%；任务进度平均约79.3%。论文报告其表现超过同模型的简化接口，也超过首次参与的人类参考。

静态图片任务更能说明主动检查本身的价值：即使没有漫长交互历史，允许模型放大局部和读取像素，准确率也从41.0%提高到63.2%。这意味着视觉记忆并不只是“存很多图”，更重要的是给模型一种按需改变观察尺度的方法。

团队还把原来的二维游戏重新渲染为带透视关系的三维场景。在视觉形式明显更复杂的情况下，得分仍达到84.12。不过操作次数增加到20640次，说明三维视角给定位和导航带来了额外困难。

图7：上方展示浏览器游戏、网页游戏和静态视觉推理三类环境。它们的控制方式和目标不同，但都需要模型从视觉证据中判断状态，并在必要时重新检查细节。

图8：与使用同一底层模型的简化接口相比，VISTA在三类环境中均有提升。这里应关注同模型、不同外部框架的差异，而不是把成绩全部归因于底层模型升级。

七、和三条相关路线放在一起看

视觉版抽象推理模型：何恺明团队此前的《ARC Is a Vision Problem!》把静态彩色方格直接当成图像转换问题，用较小视觉模型学习规则。VISTA继续沿着“不要过早把视觉翻译成文字”的方向前进，但任务从静态题扩展到长时间交互。

主动状态记忆：部分电脑操作智能体会保存网页状态、任务进度和关键事件，避免只依赖被动对话历史。VISTA的区别是保留原始视觉帧，并把时间点、空间区域和像素级检查变成模型可主动调用的工具。

程序化世界模型：一些ARC系统会让模型写程序，重建环境状态和转移规则，再用程序搜索行动。它们的优点是可执行、可验证；VISTA选择自然语言推理和视觉回看，更灵活，但规则没有被完整编译成一个可检查的模拟器。

这三条路线并非只能三选一。未来系统完全可以用原始视觉记忆保存证据，用自然语言快速形成假设，再对关键规则建立可执行验证。VISTA证明的是：在进入复杂程序搜索前，先把模型“看见和回看”的方式做好，本身就能带来很大收益。

为什么何恺明团队连续从视觉角度研究抽象推理？

这项工作不是突然转向智能体。团队此前已经把静态抽象推理题重新解释为视觉问题：与其先把彩色方格翻译成数字和代码，不如让视觉模型直接学习物体、边界、前景背景和空间变换。

后续研究又发现，自然图片预训练形成的视觉先验，即使来自日常照片，也能帮助模型理解抽象方格中的对象和空间结构。这说明“认猫看狗”学到的不只是类别名称，还可能包含边缘、形状、遮挡和布局等更通用的能力。

VISTA把问题从静态图形进一步推到动态世界。现在模型不仅要看懂一张图，还要理解动作带来的变化，把过去经历与当前画面连接起来，并在信息不足时主动回头找证据。

三项工作的共同主线很清楚：许多看似纯语言、纯规则或纯程序的问题，底层仍然包含丰富的视觉结构。过早把视觉压成文字，可能让模型失去最自然的推理入口。何恺明团队真正持续追问的，是视觉表示怎样参与更高层的抽象、记忆和行动。

这也是本文把何恺明写进标题的原因：不是单纯借名气吸引点击，而是这篇论文与其团队此前的视觉研究形成了清晰连续的技术路线。

八、成本、限制与真实落地条件

第一，完整保存每一帧会增加存储。像素游戏单帧很小，但如果换成高分辨率桌面、机器人相机或长视频，原始视觉档案会迅速增长。系统需要压缩、分层存储和清理策略，同时还要保证关键证据不会被误删。

第二，主动回看会增加模型调用次数和输入成本。VISTA不是免费获得长期记忆，而是把“一直背着全部历史”改成“需要时再读取”。是否划算，取决于检索是否准确，以及重新检查的次数能否被控制。

第三，公开游戏接近满分不能直接等同于现实世界可靠。真实电脑、浏览器和机器人环境存在网络延迟、遮挡、误点击、权限弹窗和不可逆操作。游戏里点错可以重来，现实中的删除文件、转账或机械碰撞需要更严格的安全机制。

第四，成绩是“模型加外部框架”的系统结果。换底层模型、推理强度、上下文策略、行动上限和硬件环境，都会影响最终表现。论文使用同模型简化接口作为对照，能证明框架贡献，但不能说明任何模型接上后都会获得同样幅度提升。

第五，主动查看什么仍由模型决定。档案里即使保存了正确画面，模型也可能想不起去查，或选择错误时间点。未来需要更好的检索提示、自动事件索引和重要性判断，帮助模型在真正需要时找到证据。

普通读者最容易产生的六个误解

误解一：VISTA是一个新基础模型。不是。它更像一套围绕现有多模态模型搭建的工作台，负责呈现画面、保存经历、提供检查工具和组织笔记。底层模型参数没有因为这篇论文重新训练。

误解二：保存全部图片，就等于拥有完美记忆。不是。档案完整只保证信息没有被删除，能否在正确时刻找到它仍然是推理问题。模型可能漏查、查错时间点，或看见证据后仍作出错误判断。

误解三：上下文越长，成绩一定越高。实验正好说明并非如此。约78万单位的超长上下文消耗大幅增加，却没有超过约20万单位的默认方案。大量历史一直堆在眼前，反而可能干扰当前推理。

误解四：99分说明底层模型本身突然变聪明了。底层模型没有改变，改变的是观察和记忆接口。成绩属于整个系统，不能只归给模型，也不能只归给某个回看工具。

误解五：公开游戏满分等于通用智能已经解决。公开任务数量有限，真实世界更嘈杂，也存在不可逆操作。论文自己把私有陌生游戏列为更强检验，因此不能从公开集直接推导出通用能力。

误解六：这套方法只适合游戏。游戏提供了方便验证的交互环境，但“保留原始视觉经历、按需回看局部证据”同样适用于长时间电脑操作、机器人巡检、视频事件分析和医学影像对照。

如果放到真实产品，可以怎样使用？

在电脑操作中，智能体可以保存每次页面变化和弹窗状态。任务失败后，它不只读取“刚才点击了提交”，还可以回看提交前表单中哪些字段为空、按钮是否可用、错误提示在哪个区域出现。

在机器人巡检中，系统可以保留同一路线不同时刻的原始画面。发现设备异常时，再主动调取几天前相同角度的图像比较裂纹、指示灯或液位变化，而不是只依赖文字巡检记录。

在长视频分析中，模型可以先用低成本索引记录事件时间点，再对关键片段调用原始帧。比如人物拿起物体后过了十分钟才发现物体丢失，系统可以回到中间几个节点逐段确认，而不是重新读取整段视频。

在医疗影像随访中，结构化结论和原始图像应同时保留。医生或辅助系统看到新变化时，可以重新对照旧片的相同区域。不过这类高风险场景还需要严格的数据权限、审计、隐私保护和人工确认，不能直接照搬游戏系统。

九、龙哥点评：智能体竞争正在从“脑子多大”转向“系统怎么组织经历”

我认为，VISTA最重要的启发不是某个公开榜单又被刷到满分，而是它把一个长期被忽视的问题摆到了台前：同一个模型，因为观察接口和记忆组织不同，表现可以相差几十分。

过去我们容易把智能体失败归因于“模型还不够强”，于是继续换更大模型、堆更长上下文。VISTA表明，模型可能已经具备不少视觉推理能力，只是系统把二维画面拆成了不自然的文字，又在长任务中丢掉了原始证据。

它的思路其实很朴素：原始经历不要轻易丢；摘要和原始证据分开保存；遇到新问题时允许重新查看；只取当前真正需要的局部，而不是每次重放全部历史。这些原则不仅适用于游戏，也适用于电脑操作、医学影像复查、视频分析和机器人长期任务。

同时也要保持克制。公开集满分很吸引人，但私有陌生任务、真实世界噪声和成本控制才是下一阶段关键。VISTA已经证明“视觉档案加主动取证”是一条强路线，距离稳定、便宜、安全的通用视觉智能体仍有工程距离。

如果说大模型像一个聪明的大脑，VISTA补上的不是更多脑容量，而是一双能重新看现场的眼睛，以及一间不会随手扔掉底片的档案室。

参考资料

VISTA原论文

https://arxiv.org/abs/2610.02200

官方项目主页

https://vista-research.github.io/

官方开源代码

https://github.com/joshhhhhan/VISTA

抽象推理指标（ARC）的视觉路线论文

https://arxiv.org/abs/2511.14761

主动任务状态记忆研究

https://arxiv.org/abs/2606.31612

程序化世界模型Tycho

https://arxiv.org/abs/2607.28287

本文基于龙哥读论文PaperDaily数据库及PaperMiner的MCP进行汇总整理。本文为论文解读与个人学习笔记，不构成任何论文审核意见，及对产品能力、安全性或商业可用性的保证。