← 返回 PaperDaily
视觉与图像
四大缩放维度首次系统对比：本地CUA堆算力不如“选对维度”
这篇来自汉阳大学的实证研究，把本地电脑使用代理的推理时扩展拆成上下文、时间、结构、并行四个维度逐项考察。结论有点反直觉：额外算力常常不是提升成功率，而是把失败模式从“死循环”改写成“假成功”。对做本地部署的团队来说，这是一份难得的避坑指南。
龙哥读论文
发布于 2026-09-05 00:31:11
阅读 6
查看原文
原论文信息如下：
本地AI代理的困局：计算资源加码为何不奏效？ 现在AI圈子里，电脑使用代理
听起来很美好，但落地有个大问题：把这种代理放在云端跑，用超大的闭源模型，确实很能打，可这不光烧钱，还有隐私风险。把代理放进本地，用开源小模型，才是很多人真正想要的。然而本地模型算力有限，能力也弱，经常干着干着就迷路了，要么原地转圈，要么直接卡死。
于是大家想到一条在纯语言推理领域很流行的路——推理时扩展
有意思的是，论文得出的结论相当反直觉：加算力，很多时候并不能提升任务成功率，只是把失败模式换了种形式
为了更清楚地说明这个结论，我们先来理解一下CUA代理的工作流程。一个典型的CUA代理，在每一步决策时，会接收当前屏幕的截图（可能还包括之前几步的截图）以及用户的任务指令，然后输出一个动作（比如点击某个坐标、输入一段文字、滚动页面等）。执行动作后，屏幕状态发生变化，代理再次观察并做出下一步决策，如此循环，直到任务完成或达到预设的最大步数。在这个过程中，每一步的决策都依赖多模态大模型对视觉信息的理解和推理。因此，模型的视觉理解能力、上下文记忆能力和决策规划能力，共同决定了代理能否高效、准确地完成任务。
在云端场景下，像GPT-4V或Claude 3.5 Sonnet这样的超大模型，拥有极强的视觉-语言联合推理能力，它们能够从复杂的屏幕截图中提取关键信息，制定合理的多步计划，并在执行过程中根据反馈灵活调整。因此，即使不额外增加推理时的计算量，它们本身就已经具备较高的任务成功率。而推理时扩展，比如让模型生成多个候选计划再从中选择最佳方案，或者允许模型进行更长时间的思考，可以进一步激发它们的潜力，带来显著的性能提升。
然而，本地部署的模型通常参数量较小（如7B-30B级别），其视觉编码器的容量、跨模态对齐的精度以及指令跟随的能力都相对有限。这意味着，即使给它们更多的推理时间或更多的候选方案，它们也可能无法有效地利用这些额外的计算资源来产生更优的决策。相反，它们可能会在错误的轨迹上越走越远，或者因为无法理解复杂的屏幕状态而提前“放弃”或“误判成功”。这正是论文所揭示的核心问题：推理时扩展的有效性，严重依赖于模型本身的能力上限。
四大缩放维度拆解：上下文/时间/结构/并行如何影响任务成功率 论文首先把推理时扩展拆成四种可以量化的维度。为方便理解，先交代一下两种最常见的CUA架构：
单代理
两阶段代理 接地模型
上下文缩放
时间缩放
结构缩放
并行缩放
图1：（a）单代理架构直接把当前截图和历史长度H映射为动作；（b）两阶段架构包含规划阶段生成P个候选计划和接地阶段执行选中的计划
实验配置也比较克制：在OSWorld
可以把这四个维度理解成四个旋钮。论文逐个转动旋钮，像做控制变量实验一样，看它们到底怎么影响任务成功率、token消耗和失败类型。这种系统性的扫描方法，能够清晰地揭示每个维度在本地CUA场景下的独立贡献和交互效应，为后续的优化提供数据支撑。
失败模式转移之谜：算力增加反而导致"假成功"？ 先看上下文缩放。在图2中，H=0（不看历史）时，各模型的平均成功率大约只有18%，agent经常陷入重复点击同一个菜单项的循环里，完全无法推进任务。一旦把H增加到1，成功率直接跳到25%以上。这说明哪怕只看上一帧截图，对稳定轨迹都有巨大的帮助。这个结果符合直觉：视觉上的连续性对于理解界面状态变化至关重要，哪怕只有一帧的上下文，也能帮助代理判断当前动作的效果。
图2：（a）不同本地模型的任务成功率；（b）Qwen3-VL-30B-A3B在S=15时的失败模式群体分析；（c）归一化平均步数；（d）归一化提示token使用量
继续增加到H=4，准确率还能再涨一些，到28.56%。但再往上加，H=8时反而掉到27.16%。换句话说，上下文缩放有明确的饱和点，过了这个点，多喂进去的截图只是烧token，对结果没有正贡献。论文分析认为，这可能是由于过多的历史截图引入了冗余信息，干扰了模型对当前屏幕状态的注意力聚焦。模型需要处理的视觉token数量剧增，而其有限的注意力头数无法有效处理这么多信息，反而导致了性能下降。
更值得玩味的是失败模式的转移。论文把失败分为几类：重复循环（repetitive）、最大步数用尽（max-step stall）、过早假成功
图3：没有上下文接地（H=0）时，agent陷入重复循环；有足够历史（H=4）时，agent利用之前状态成功完成多步任务
图3给出了一个直观的例子：H=0时，agent不断点击同一个菜单项，陷入死循环；H=4时，能够借助历史状态跳出循环，完成多步任务。这说明历史上下文确实能稳定动作序列，但它增强的是“执行能力”，而不是“判断能力”——agent依然不知道自己到底做完没有。换句话说，上下文记忆帮助代理更好地“做”，但没有帮助它更好地“知”。这种“知行不合一”是导致假成功现象的关键原因。
再看时间缩放，结论更扎心：把最大步数S从15一路放到100，任务成功率几乎没有变化。图4显示，S增大后，最显著的变化不是成功率上升，而是平均步数和token消耗线性增长。和上下文缩放类似，S增大也能减少因步数不够导致的失败，但失败的总额没变，只是更多变成了假成功。这表明，对于本地小模型，限制其完成任务的主要瓶颈不是“时间不够”，而是“能力不足”。
图4：（a）不同本地模型的任务成功率；（b）归一化平均步数；（c）归一化提示token使用量；（d）Qwen3-VL-30B-A3B在H=4时的失败模式群体
论文对此的解释是：本地小模型的推理容量有限，额外步数不会帮它“想明白”，只是给了它更多机会在错误轨迹上继续走下去。也就是说，时间缩放实际是在给错误续航，而不是给成功加油。模型在每一步的决策质量没有得到提升，增加步数只是让它在低质量的决策序列上走得更远，最终到达一个它“自认为”完成的状态。
两阶段架构的陷阱：规划与接地分离在本地模型中的代价 在云端大模型时代，把规划和执行拆开是提升稳定性的利器。GTA-1、Agent S等框架都用这招拿到了不错的成绩。但在本地小模型上，这套思路还能不能走通？论文直接做了结构对比。
结果显示：在相同的历史长度和步数预算下，两阶段框架的成功率明显低于单代理。图5(a)(b)中，P=1（只生成一条计划）时，两阶段代理的准确率相比单代理明显更低，而token消耗却高出一大截。在成本-准确率坐标图（图5(c)）中，两阶段配置几乎全部位于右下角——更贵，且更不准。这个结果对“模块化拆分总是更好”的普遍认知提出了挑战，至少在本地小模型场景下，这种拆分带来的额外开销和错误传播可能超过了其收益。
图5：（a）Qwen3-8B规划器的任务成功率；（b）Qwen3-30B-A3B规划器的任务成功率；（c）准确率-成本权衡；（d）Qwen3-VL-30B-A3B两阶段代理的失败模式群体（S=15，H=4）
第一，本地规划的“脑容量”不够。Qwen3-30B-A3B这种级别的模型虽然能下指令，但要生成高质量的多步计划，还需要对图形界面状态有精准的理解，这远超它们的能力范围。生成的计划经常不完整，或者和当前屏幕状态对不上，接地模型执行起来自然就歪了。规划模型需要从截图中提取足够的信息来构思一个可行的步骤序列，但小模型的视觉编码器可能无法捕捉到细微但关键的UI元素，导致计划脱离实际。
第二，规划与接地之间的格式依赖带来新的失败模式。图6展示了一个典型错误：虽然指令明确要求输出代码块格式，但规划器直接漏掉了观察区域，把动作写成了普通字符串，接地模型根本没法解析。这类格式错误在本地模型中占比不小，直接导致agent无法行动。这种模块间的“接口”问题，在云端大模型上可能因为模型指令遵循能力更强而较少出现，但在本地小模型上却被放大了。
图6：尽管有明确的格式指令，规划器仍然遗漏了观察区域，并把动作生成为普通字符串而不是有效的代码块，导致解析失败
并行缩放确实能部分挽救这个局面。当P从1增大到4，两阶段代理的成功率有所回升，格式错误也明显减少——毕竟多条计划里只要有一条格式正确且可执行，就被选中了。但代价是token消耗急剧增加，而且提升幅度远小于算力成本的增幅，属于典型的次线性收益。这表明，并行生成候选计划虽然能增加“命中”好计划的机会，但并不能从根本上提升规划模型的能力上限，只是用更多的计算量去“碰运气”。
这算“结构复杂化”和“并行冗余”之间的左右互搏，最后发现两个错误叠加也抵不过一个简单正确。对于本地部署，一个能力匹配的简单单代理模型，可能比一个复杂但能力不足的两阶段系统更可靠、更经济。
本地CUA的三条实用优化指南 基于这些实验观察，论文给本地部署团队提了三条非常接地气的建议。这些建议并非空泛的指导，而是基于具体实验数据的量化分析，具有很强的可操作性。
第一条，上下文长度要适度
第二条，时间预算要有界
第三条，框架结构尽量简单
结论与展望：从"堆算力"走向"智能计算分配" 这篇论文的最核心贡献，是把“算力投入-成功率-失败模式-成本”这组关系在本地CUA场景下完整地扫描了一遍。四个维度的结论可以概括成一句话：计算资源不应该被均匀地堆砌，而应该被选择性地分配到模型真正需要的环节
论文也指出了后续方向：上下文质量的管理（而不是长度）、失败感知的控制机制（而不是无脑继续）、和模型能力对齐的agent框架（而不是无脑套用云端架构）。这三个方向组合起来，才是本地CUA走出困境的正路。未来的研究可以探索如何让代理具备“自知之明”，即能够评估自己的动作是否有效，并在必要时寻求帮助或改变策略。
龙迷三问 问：论文里提到的CUA到底是什么？
问：什么是“过早假成功”？
问：本地小模型的推理时扩展，和云端大模型的推理时扩展有什么本质区别？
如果你还有哪些想要了解的，欢迎在评论区留言或者讨论~
龙哥点评 论文创新性分数： ★★★★☆ 系统性把推理时扩展拆成四个维度在本地CUA场景下做实证，角度新颖，尤其“失败模式转移”这个观察非常有价值。
实验合理度： ★★★★☆ 在OSWorld真实任务上覆盖了四种模型、多维配置，实验设计总体扎实；但部分结论（如结构分解的劣势）只测了一种两阶段实现（GTA-1），代表性略有局限。
学术研究价值： ★★★★☆ 为本地CUA的算力-精度权衡提供了首批系统证据，可以让后续研究者少走很多弯路，研究价值较高。
稳定性： ★★★☆☆ 主要呈现的是统计性规律，对“为什么小模型在更大计算预算下反而假成功变多”的机理分析还不够深刻，直接迁移到其他环境时结论稳健性仍需验证。
适应性以及泛化能力： ★★★☆☆ 只用了OSWorld的Ubuntu任务，未覆盖Windows/macOS、网页和移动端场景，结论外推需谨慎。
硬件需求及成本： ★★★★☆ 使用A100-80GB，模型规模为7B-30B级别，整体算力门槛尚可；论文本身也详细分析了token成本，对团队评估部署很有参考价值。
复现难度： ★★★★☆ 全部使用的是公开模型（Qwen3-VL、UI-TARS、OpenCUA、GTA-1）和公开基准OSWorld，但代码未开源，部分实验细节仍需对照原文复现。
产品化成熟度： ★★★☆☆ 实验结论可以直接指导配置选择，但“失败感知控制”等机制还只是建议方向，没有现成实现，离产品化还需一段距离。
可能的问题： 论文某些结论存在同义反复倾向，比如“增加H引入了更多假成功”本质上是“准确率饱和”的另一种表述方式，缺少对本地模型能力上限的底层分析。
主要参考文献
[1] Xie et al. OSWorld: Benchmarking Multimodal Agents for Open-Ended Tasks in Real Computer Environments. arXiv:2404.07972. [2] Bai et al. Qwen3-VL Technical Report. arXiv:2511.21631. [3] Qin et al. UI-TARS: Pioneering Automated GUI Interaction with Native Agents. arXiv:2501.12326. [4] Yang et al. GTA-1. arXiv:2504.xxxxx. [5] Gonzalez-Pumariega et al. Scaling Agents for Computer Use. arXiv:2510.02250. [6] Agashe et al. Agent S: An Open Agentic Framework that Uses Computers Like a Human. arXiv:2410.08164. [7] Abhyankar et al. OSWorld-Human: Benchmarking the Efficiency of Computer-Use Agents. arXiv:2506.16042. [8] Liu et al. PAL-UI: Planning with Active Look-back for Vision-based GUI Agents. arXiv:2510.00413. *本文仅代表个人理解及观点，不构成任何论文审核或者项目落地推荐意见，具体以相关组织评审结果为准。欢迎就论文内容交流探讨，理性发言哦～ 想了解更多原文细节的小伙伴，可以点击 "阅读原文"， 查看更多原论文细节哦！
本地AI代理别盲目堆算力，龙哥带你精读汉阳大学最新实证，搞懂推理时扩展的取舍之道！🤚
欢迎加入龙哥读论文粉丝群，
扫描下方二维码或者添加龙哥助手微信号加群 ：kangjinlonghelper。
一定要备注：研究方向+地点+学校/公司+昵称（如 agent+上海+汉阳大学+龙哥） ，根据格式备注，可更快被通过且邀请进群。
『龙哥读论文』微信群目前包含：图像处理、大模型及智能体、自动驾驶及机器人、AI医疗及AI金融5个群
