哈工大等提出PRISM：让AI画画学会“看图自改”，TIFA飙至91.4%新SOTA
文生图提示优化一直是热门，但之前的方法要么只看文本要么只给分数，缺少结构化图像诊断。PRISM另辟蹊径，用一个VLM同时当裁判和教练，先看图挑毛病再针对性改提示，最后用强化学习让模型越改越好。在TIFA上从76.1飙升到91.4，关键是可解释性极强——每个修改都有理有据。
标签：多模态
共 226 篇
0.2B参数、1GB显存，32Hz实时控制！华中科大&华为新VLA范式TurboVLA
大模型驱动的机器人VLA虽然强大，但推理慢、显存高。TurboVLA反其道而行，直接跳过LLM，用双向视觉-语言交互实现32Hz实时控制，仅需0.2B参数和0.9GB显存，性能却比肩甚至超越十亿级模型。机器人部署从此不再高攀不起！
安徽大学SCDT：统一去噪框架，专治RGB-T跟踪模态缺失
医生看病是逐步问诊、看检查单、更新诊断假设的过程，但现有的AI评估全是单轮问答，完全不接地气。这篇论文搞了一个1089例真实病例的多轮诊断基准，把15个模型按真实临床流程从头考到尾。结果发现推理模式反而帮倒忙，医疗微调在小模型上有用、大模型反而没优势。想了解AI在临床诊断中到底几斤几两？这篇必须读。
SCALPEL：解剖-否定感知对比学习，医疗跨模态召回率飙升22%
当“肺不张”被误判为“正常”，多亏了SCALPEL的否定感知机制，把医疗跨模态对齐从“字面匹配”拉回“临床逻辑”，背后是PMC-LLaMA+ANAO的双重保障，实测召回率涨2%，值得临床AI从业者关注。
西北大学最新：用医生看片时的“眼球轨迹”做弱监督分割，Dice达81.85%！
还在为医疗分割数据的像素级标注头疼？西北大学这篇工作告诉你，医生看片子时的眼动轨迹就能当弱监督信号，而且效果居然超越了最专业的涂鸦、边界框等“传统”弱监督！更关键的是，它首次用Mamba这种高效架构建模了轨迹的时序信息，而不是把它当作一堆散点的静态图。看完你会感叹：原来最宝贵的监督信号，就藏在医生最自然的阅片习惯里。
真人实验提升28.7%！RL2让机器人学会“该出手时才出手”
当机器人VLA模型在域外任务中频频翻车，RL²给出了一个既聪明又高效的解法：只在预测到即将失败时，才调用离线强化学习产生的多样化动作来“组合引导”，否则就安心跟着原始VLA走。这项研究不仅揭示了“成功/失败状态缩放定律冰火两重天”的反直觉结论，还在真实机器人上带来了接近30%的成功率提升——关键是，所有模块都是轻量+离线，部署成本极低。值得所有做机器人泛化操
0.846分接收！通用音视频假货检测，融合不如解耦
继2026年6月龙哥聊过AI检测器泛化难题后，哈尔滨工业大学团队在IJCAI-ECAI 2026挑战赛中给出了一个反直觉的答案：原来音视频之间的一致性假设在通用场景下根本不靠谱，解耦才是王道！DAV-Det以0.8460分夺得第一，简单粗暴但效果惊人。
快手&南开RecoReward：用推荐器反馈训练描述生成，召回提升40%，推理零用户信息
这篇论文巧妙解决了多模态推荐中一个两难问题：既要利用用户行为信号优化描述，又要保持推理时纯内容生成。快手和南开提出的RecoReward用推荐器作为训练时的“裁判”，让MLLM学会生成对推荐更友好的描述，离线全面领先，在线也有实实在在的提升。思路新颖，工程上也很实用，值得做推荐系统的同学关注。
Sony AI新作：仅$2000成本，1.5B模型同时搞定图像理解与生成，SOTA还省钱！
统一多模态模型（UMM）过去要么贵得离谱（训练成本几万美元、数据上亿），要么理解与生成总得二选一。Sony AI这篇Argus-Unified直接掏出“混合视觉令牌”方案，把预训练VLM的视觉编码器冻住，只花$2000和1500万数据就训出比7B模型还强的理解能力，生成效果也不拉胯。对搞低预算落地的团队来说，这是一份很实在的参考。
国立成功大学新突破：LLM引导食物分割，即插即用模块mIoU达55.0
食物分割里，豆腐和芝士经常被搞混？国立成功大学这篇工作用一个巧妙的思路——让大语言模型（GPT-o4 mini）根据图像猜出食材名称，再把食材标签嵌入视觉特征或解码器查询中，实现精准分割。两个模块完全即插即用，在FoodSeg103上刷新SOTA达到55.0 mIoU，且仅增加3.8GB显存开销。不用搞什么对齐训练，拿来就能涨点，实用派狂喜！
印度理工新方法：结构化证据+LLM推理，犹豫识别性能翻2.24倍
犹豫不决本难测，传统多模态融合不灵。PRISM-AH另辟蹊径：轻量网络抽取出结构化证据（冲突时刻、主导模态、韵律特征），再用LLM套上专家知识推理，一次性提升2.24倍。思路新颖，适合搞多模态理解、情感计算的读者。
TPAMI 2026最新：一个扩散模型搞定无标定红外超分与融合，下游检测率涨超5%！
红外与可见光双摄设备如今很常见，可两个摄像头总有‘视角差’，导致图像对不齐。以往要么手动校准，要么用复杂的配准网络。而这篇BeyondFusion另辟蹊径——直接在扩散模型的潜空间里让两个模态‘自对齐’，还能同时输出红外超分辨率图和融合图，手机实拍效果惊艳。一篇方法干净、结果扎实的工作，值得细读。
