← 返回 PaperDaily 大模型与智能体

Apple Research最新论文:主动助手评测为何离不开FSM

Apple Research这篇不是在比谁更会“聊天”,而是在逼智能体面对真实手机交互的硬骨头:用户会不会接受、何时插手、能不能跨应用干活。PARE把这件事做成了可评测、可复现的框架,结果也挺扎心:最强模型成功率也只有四成多。

Apple Research最新论文:主动助手评测为何离不开FSM
🐉 龙哥读论文知识星球来了!
公众号每日8篇拆解不够看?星球无上限更AI领域论文、资讯、招聘、招博、开源代码,一站式干货,每日2分钟刷完即赚!
👇扫码加入「龙哥读论文」知识星球,前沿干货、实用资源一站式拿捏~ xingqiu_header

龙哥导读:
Apple Research这篇不是在比谁更会“聊天”,而是在逼智能体面对真实手机交互的硬骨头:用户会不会接受、何时插手、能不能跨应用干活。PARE把这件事做成了可评测、可复现的框架,结果也挺扎心:最强模型成功率也只有四成多。


原论文信息如下:
论文标题:
Proactive Agent Research Environment Simulating Active Users to Evaluate Proactive Assistants
发表日期:
2026年04月
发表单位:
University of California, Santa Barbara; Apple, USA; University of Washington; Independent Researcher, USA
原文链接:
https://arxiv.org/pdf/2604.00842
项目链接:
https://github.com/deepakn97/pare

模拟用户交互:主动助手评估新框架

图1:PARE框架整体架构概览
图1:PARE框架整体架构概览。左边是用户代理,右边是主动助手,中间是共享的事件驱动环境。关键点不在“会不会聊天”,而在“能不能像真实用户一样被环境约束住”。
主动助手这类系统,最难的地方不是生成一句像样的建议,而是判断什么时候该插手、插手之后会不会把人带沟里、以及跨应用执行到底能不能真的完成。如果评测环境本身还是“用户站着不动等助手喂答案”,那测出来的分数大概率只是模型嘴皮子利索,不代表它真能帮人干活。
这篇 Apple Research 相关工作做的事情很直接:把“主动助手”从纸面概念拉回真实交互环境,做成一个可运行、可评测、可复现的研究框架。PARE(Proactive Agent Research Environment,主动智能体研究环境)的核心思路,是让用户不再是被动接受指令的木偶,而是一个会在手机界面里一步步点、搜、切、填的活用户。这样一来,助手到底有没有看懂上下文、有没有猜对目标、有没有选对出手时机,就不再是“嘴上说说”。
如果把传统评测比作“老师出题、学生答题”,那主动助手评测更像“老师在旁边看你做饭,偶尔提醒你别把锅烧糊了”。问题是,老师也得知道你现在在切菜还是在找盐。PARE要解决的,就是这种带状态、带时序、带多应用切换的真实复杂性。

核心创新:非对称FSM模拟真实用户行为

图2:发送消息的工具调用链对比
图2:发送消息的工具调用链对比。左边是普通代理框架,直接调用接口就完事;右边是 PARE,用户必须按屏幕状态一步步导航。差别很大,前者像“后台直连”,后者像“真机点点点”。
PARE 最聪明的地方,不是又造了一个更花哨的环境,而是把用户和助手的权限故意做成不对称。这很符合现实:普通用户在手机上只能看到当前屏幕能做什么,想发消息、建日程、搜联系人,都得一层层翻;但助手如果拿到后台权限,可以直接调用接口,像“开外挂”一样跨应用执行。
为了把这种差异建模清楚,PARE 用的是有限状态机,英文是 Finite State Machine,FSM,有限状态机。简单说,应用不是一个“扁平工具列表”,而是一张张屏幕组成的状态图:当前处于哪个页面、能点哪些按钮、填完表单后会跳到哪里,都要按规则走。用户代理在每个应用里只能看到当前状态下允许的工具,必须通过导航动作逐步逼近目标;助手则面对扁平 API,能更快获取信息并执行任务。
公式:用户动作由当前观察、历史动作和环境事件共同决定
这个公式表达的是:用户在时刻 t 的动作,不是凭空冒出来的,而是由上一轮观察、上一轮自己做过的动作,以及当前环境事件共同决定。说白了,用户不是“等着被安排”,而是会被消息、提醒、上下文不断推着走。
这套设计的价值在于,它把“主动助手”最容易被忽略的现实约束补上了:用户看到的信息有限,能做的动作有限,助手却能更全局地观察和执行。如果不做这个区分,很多所谓“主动”其实只是模型在假装懂人心,环境一复杂就露馅。
图7:邮件应用的用户状态转移示意
图7:邮件应用的用户状态转移示意。助手可以直接调用发送接口,但用户必须经历“打开写信—设置收件人—添加附件—发送”这一串状态迁移。这个差别看着琐碎,实际上就是“真实交互”和“API 直通车”的分水岭。

观察-执行架构:既能察言观色,又能先斩后奏

PARE 里的主动助手不是一个单一模型硬扛到底,而是拆成了两个阶段:观察(Observe)执行(Execute)。这个设计很像现实里的靠谱秘书:先盯着现场情况,等确认机会合适了再出手,而不是一上来就冲上去把用户的事全包了。
观察阶段只允许读信息,外加两个控制动作:继续等待,或者向用户发起建议。也就是说,助手在这个阶段的任务不是“立刻把事做完”,而是先判断有没有值得插手的机会。用户如果接受建议,助手才进入执行阶段,拿到跨应用的完整 API,开始真正干活。这个结构的好处很明显:把“是否该提议”和“如何执行”拆开,能减少模型一边胡乱提案、一边又执行失败的尴尬。
公式:助手在时刻t基于历史观测与环境事件生成提议
这个公式描述的是助手在时刻 t 如何生成提议:输入包括自己过去的观察、自己过去的动作、用户过去的动作,以及当前环境事件。换句话说,助手不是“看一眼当前屏幕就拍脑袋”,而是要把前后文一起吃进去,才敢决定要不要开口。
用户是否接受提议,也不是随便点头。PARE 把接受动作建模成一个显式的决策:只有当用户认为这个方案真的能帮助完成自己的目标,才会接受。被接受后,助手的动作集合才真正落地到环境中。这个机制看似简单,实际上很关键,因为主动助手最怕的不是不会做,而是“太爱帮忙,帮到用户烦”。
公式:用户接受提议后,助手动作并入执行集合
这条式子表达的是:一旦用户接受提议,助手动作集合就会更新,把提议里的动作并进去。PARE 的评测逻辑因此不只是看“提案像不像样”,还要看“提案最后有没有真的把目标推进”。
这套观察-执行架构还有一个很现实的好处:能把主动助手拆成“会不会看”和“会不会做”两种能力分别考。前者对应目标推断、插手时机和上下文理解,后者对应跨应用编排和工具调用链。很多模型前半段看着聪明,后半段一执行就掉链子;PARE 把这件事拆开后,问题会暴露得更清楚。

Pare-Bench基准测试:143个任务全面检验主动智能体

表5:Pare中的应用及其对应状态
表5:Pare中的应用及其对应状态。基准里不是只有一个“万能手机壳”,而是覆盖通信、生产力、日程、生活等多个应用域,并且每个应用都带自己的状态机。这样测出来的结果,才更接近真实手机生态。
有了环境还不够,PARE 还顺手做了一个基准:Pare-Bench。它包含 143 个任务,覆盖通信、生产力、日程和生活类应用,重点考察四件事:看懂上下文、推断用户目标、把握干预时机、以及跨应用协同执行。这个设计很务实,因为主动助手真正难的不是单点能力,而是这些能力串起来之后还能不能稳定工作。
任务构建上,作者没有完全靠人工硬写,而是用大模型辅助生成场景,再由人工审核故事连贯性、验证条件和执行合理性。这个流程比纯手工扩展得快,也比纯自动生成更靠谱。基准里还加入了噪声通知、工具失败等干扰因素,避免模型只会在“理想实验室”里表演。
图5:场景生成代理流水线
图5:场景生成代理流水线。场景从故事生成开始,经过初始数据填充、事件流构建和验证四个阶段,最后还要做去重检查。这个流程说明,PARE-Bench 不是“随便编几个任务”,而是有一套完整的生产线。
图6:Pare-Bench中应用使用统计
图6:Pare-Bench中应用使用统计。图里能看到各类应用在 143 个场景中的分布情况。这样的统计很重要,因为如果任务全挤在某一类应用里,评测结果就会偏科。
图8:PARE中的主动助手场景时序图
图8:PARE中的主动助手场景时序图。它把用户、环境事件、助手提议和执行串成一个完整闭环,能直观看出“观察—提议—接受—执行”究竟是怎么发生的。

性能对决:Claude与GPT-5谁更懂“主动”?

表1:七个模型在Pare-Bench上的整体表现
表1:七个模型在 Pare-Bench 上的整体表现。这里同时看成功率、提议率、接受率和读动作数,能把“会不会主动”“会不会乱主动”“会不会真的做成”分开看清楚。
实验结果挺扎心。最强的一档里,Gemini 3 FlashClaude 4.5 Sonnet 的总体成功率都在 42% 左右,几乎打平;GPT-5 的提议率最高,说明它更爱出手,但这不等于更稳,反而有点“太积极了”。在开放权重模型里,Qwen 3 4B Instruct 明显领先于 Llama 3.2 3B 和 Gemma 3 4B,但和闭源前沿模型相比,差距依然不小。
这里最值得注意的不是“谁第一”,而是成功率并不高到让人放心。即便是最强模型,四次运行里也只是把一部分任务稳定做对,说明主动助手离“可靠日常用品”还有距离。这个结论很重要,因为主动系统一旦误判,代价不是答错一句话,而是可能在用户不想被打扰的时候强行介入。
表格:不同模型的提议与上下文收集行为对比
表格:不同模型的提议与上下文收集行为对比。它反映出一个很现实的现象:小模型往往更容易提前提议,但提议质量不一定跟得上,结果就是“挺积极,挺忙,但不一定有用”。
从机制上看,表现好的模型通常会做更多读动作,说明它们更愿意先观察上下文再出手。Claude、Gemini 3 Flash 和 GPT-5 的读动作数都在 20 次左右,而小模型普遍更少。这恰好说明主动助手不是“越快越好”,而是先看懂,再出手。提议太早,用户不买账;提议太晚,主动性又没了。
表格:模型在不同噪声和失败条件下的稳健性结果
表格:模型在不同噪声和失败条件下的稳健性结果。作者没有只测“顺风局”,还专门加了工具失败和环境噪声,逼模型在脏环境里继续干活。

鲁棒性考验:环境噪声下的智能体表现

PARE 还专门测试了两类扰动:一类是工具失败,另一类是环境噪声,也就是那些没啥用但会疯狂冒出来的通知、邮件、提醒。这个设计很像真实手机生活:真正影响助手表现的,从来不是“题目本身”,而是题目周围那堆乱七八糟的信息。
图3:工具失败概率变化下的提议率、接受率与执行成功率
图3:工具失败概率变化下的提议率、接受率与执行成功率。整体看,提议和接受相对稳定,但执行成功会受到工具失败的直接影响,说明“会提案”不等于“会收尾”。
图4:环境噪声变化下的提议率、接受率与执行成功率
图4:环境噪声变化下的提议率、接受率与执行成功率。噪声越大,部分模型越容易分心,尤其是中小模型;而更强模型在噪声下仍能保持相对稳定的表现。
结果说明,主动助手的难点不是单纯的语言理解,而是在不确定、受干扰、跨应用、会失败的环境里保持判断力。这也是为什么作者强调边缘部署和隐私边界:主动助手必须持续观察用户行为,如果还动不动把数据全上传,产品层面就先把用户吓跑了。
从工程角度看,这篇工作最像一把尺子,而不是一套“立刻能商用”的成品。它把主动助手的关键问题拆得很细:环境怎么建、用户怎么模拟、提议怎么评、执行怎么验。对后续研究来说,这种基础设施比单篇模型论文更值钱,因为没有统一评测,大家只能各吹各的。

龙迷三问

下面是龙哥对于大家可能的一些问题的解答:

这篇论文到底解决了什么问题?它解决的是“主动助手怎么被真实评测”这个老大难问题。PARE 不是再造一个聊天机器人,而是搭了一个带状态、带时序、带多应用交互的环境,让助手必须面对真实用户行为和真实工具链。

FSM 是什么意思,为什么这么重要?FSM 是 Finite State Machine,中文叫有限状态机。它的作用是把一个应用拆成一张“状态图”,用户只能按当前状态允许的操作一步步走,这样才像真实手机,而不是工具列表随便点。

为什么最强模型成功率也只有四成多?因为主动助手比普通问答难太多了。它不仅要理解上下文,还要猜用户意图、判断插手时机、处理多应用执行、应对噪声和失败。能在这种环境里做到四成多,说明已经有进展;但离稳定落地,还差一段不短的路。

如果你还有哪些想要了解的,欢迎在评论区留言或者讨论~

龙哥点评

论文创新性分数:★★★★☆。把主动助手评测从“静态样例”推进到“活用户+状态机+非对称权限”的框架,思路挺对路,也挺实在。

实验合理度:★★★★☆。有多模型对比、有噪声和失败扰动、有成功率与接受率分离,整体比较扎实;不过主动交互本身主观性仍然强,评测上限不可能完全消失。

学术研究价值:★★★★★。这类基础设施论文价值很高,尤其适合给后续主动智能体研究提供统一地基,不然大家都在各玩各的。

稳定性:★★★☆☆。框架本身比模型更稳,但真正的主动助手离可靠产品还远,尤其在复杂场景下容易误判或执行失败。

适应性以及泛化能力:★★★★☆。框架覆盖多应用、多任务、多噪声条件,泛化潜力不错;但仍然偏手机生态,跨到其他交互形态还要再验证。

硬件需求及成本:★★★☆☆。评测本身不算重,但要持续跑大模型、模拟用户和多轮交互,整体成本不低;好在框架目标是研究与评测,不是端侧实时部署。

复现难度:★★★☆☆。项目开放是加分项,但主动交互环境、场景生成和验证链条都不算轻松,复现需要一定工程能力。

产品化成熟度:★★☆☆☆。更像研究基座,不像即插即用产品;要上真实用户,还得解决隐私、误触发和可靠执行三座大山。

可能的问题:任务和应用生态仍有限,主动性评测带有较强场景依赖;最强模型也只到四成多,说明离“放心交给助手”还早。


主要参考文献

Deepak Nathani, Cheng Zhang, Chang Huan, Jiaming Shan, Yinfei Yang, Alkesh Patel, Zhe Gan, William Yang Wang, Michael Saxon, Xin Eric Wang. Proactive Agent Research Environment Simulating Active Users to Evaluate Proactive Assistants. arXiv:2604.00842, 2026.
项目主页:https://github.com/deepakn97/pare
原文链接:https://arxiv.org/pdf/2604.00842

end
欢迎加入龙哥读论文粉丝群,扫描下方二维码或者添加龙哥助手微信号加群:kangjinlonghelper。一定要备注:研究方向+地点+学校/公司+昵称(如 图像处理+上海+清华+龙哥),根据格式备注,可更快被通过且邀请进群。
『龙哥读论文』微信群目前包含:图像处理、大模型及智能体、自动驾驶及机器人、AI医疗及AI金融5个群
主动助手、用户模拟、智能体评测这些方向,群里经常能聊到最容易踩坑的地方。
wechat_helper dianzan
转发文章 微博 X LinkedIn Facebook
龙哥读论文 · PaperDaily

本文基于龙哥读论文 PaperDaily 数据库整理,结合论文原文与工程视角进行解读。