阿里+浙大新作ForeAgent:AI作图鉴伪,准确率冲到93.3%
阿里和浙大这次没走“单次判断”老路,而是把AI鉴伪做成了一个会看、会判、还会反思进化的智能体。更有意思的是,它不只追准确率,还把推理质量也一起往上拽。
LONGGE AI RESEARCH DAILY
每天筛选值得关注的 AI 论文,用工程视角拆解方法、实验和真正的落地价值。
目前已发表 1811 篇文章
阿里和浙大这次没走“单次判断”老路,而是把AI鉴伪做成了一个会看、会判、还会反思进化的智能体。更有意思的是,它不只追准确率,还把推理质量也一起往上拽。
桌面智能体最烦的不是“不会做”,而是“做完了也不知道算不算对”。这篇论文把 VLM 变成自动考官,再把考官的口误做噪声校正,思路很实用,结果也挺扎实,适合想看 Agent 怎么真正学会干活的读者。
这篇论文把“看视频”拆成了三件事:先粗看定位,再重看细节,最后重答修正。最妙的是,它不用冷启动的长串 CoT 标注,直接靠强化学习把重看能力练出来,省事还挺能打。
这篇论文专门盯上了离散扩散VLA的“RL卡脖子点”:最终动作的边缘概率算不出来,那就直接优化去噪轨迹本身。思路很硬,结果也很硬,LIBERO和RoboTwin 2.0都打出了能拿出来讲的成绩。
这篇工作最有意思的地方,不是又做了一个医疗问答集,而是把“医生怎么想”这件事拆成了能检查、能打分、能复核的结构。对3D胸部CT来说,这比只看最终答案靠谱多了。
这篇论文把机器人“换视角就失忆”的老毛病,改写成一个系统辨识问题:先随机探一探,再把这段互动当上下文喂给模型。简单粗暴,但很对路,仿真和实机都给出了不错的增益。
大多数自动驾驶模型都是“一条路走到黑”,直接生成轨迹,却不知道这轨迹未来会导出什么结果。中山大学等机构提出的IRR-Drive模型,让智能体先“预设意图”,再通过预测未来BEV可视化地“反思”一遍,最后才修正轨迹。这种做法在NAVSIM v1/v2两个权威榜单上都拿到SOTA,而且仅用4B参数就能干翻不少8B模型,性价比拉满。
大模型能说会道,但遇到要细看图表、小字的地方,经常"看走眼"还"自信满满"。孙海伦团队从"答案熵"入手,发现模型在不确定时会表现出更高熵值,但盲目降熵反而让模型走上捷径。SPOT-E巧妙设计了一个视觉"聚光灯",配合强化学习,只调光照不调模型,让GPT-4o和开源模型在多个密集证据任务上获得稳定提升,思路清奇又实用。
长视频问答(LVQA)一直是个“烧钱”的活,把一小时的视频全喂给大视觉模型,光是token就能上百万。而TIMEPROVE给出的策略很聪明:先派轻量级的动作检测器去“探路”,生成几个高概率的答案假设,最后才让大模型去“拍板”验证。结果呢?效果涨了7.3%,成本却降了93%。这种“先猜后验”的思路,值得每个做视频理解的人关注。
长视频问答一直是个“贵”且“难”的活儿——处理一小时视频,光视觉token就超200万。北卡大学夏洛特分校的TIMEPROVE,提供了极其优雅的解决思路:先用轻量级的动作检测模块“侦察”出关键证据片段,再只把这些精挑细选的短片段送给VLM做“终审”。结果准确率涨了7.3%,VLM调用次数锐减75%,推理成本暴跌93%!这简直就是给LVQA这个“烧钱”领域的一
给大模型加个“外挂经验库”,不用微调就能让机器人自己看懂各种故障。Fail-RAG 思路巧妙,效果扎实。无论是识别“夹爪歪了”还是“轮子卡了”,准确率都实打实提升了。想知道怎么做到的?看下去就对了。
多模态大模型推理时总“走神”答非所问,主要原因是文本指令和图像位置对不上号。这篇腾讯等联合完成的工作Timage,用了个极聪明的解法——直接把问题当作文字水印“写”在图片的恰当位置,让模型一眼就能看到该看的地方。效果惊人,7B小模型在VMCBench上干翻了GPT-4o,还不需要任何微调!
LONGGE AI COMMUNITY
加入「龙哥读论文」知识星球,持续获取 AI 论文、资讯、开源项目、招聘与研究思路。
加入龙哥读论文微信群:添加微信 kangjinlonghelper,备注“研究方向 + 地点 + 学校/公司 + 昵称”。
微信扫码加入知识星球