LVLM遇模态缺失就“趴窝”？TTSD-FAR用0.629%参数把F1从0.48救回0.51
传感器掉线、字幕丢失、画面损坏……LVLM一遇模态缺失就肉眼可见地“降智”。这篇TTSD-FAR偏偏只更新0.629%的参数，就把50%文本缺失下的F1从趴窝的0.4785拉回0.5124，还顺手解决了持续适应的漂移问题。方法不算复杂，思路非常实用，值得所有做多模态落地的朋友读一读。
标签：多模态
共 200 篇
机器人也学会“先想后做”？τ₀-VLA用世界模型引导测试时计算，长时程任务成功率45%
当大模型学会“思考”后，机器人也该学学“先想后做”了。本论文把大模型里的测试时计算扩展到了机器人子任务规划中，用世界模型预测、价值模型评分、束搜索择优，让机器人在面对长时程任务时不再“走一步算一步”。四项真实世界长时程任务平均成功率45%，值得所有做机器人决策的朋友读一读。
控制变量法实测18个视觉骨干 VMamba险胜Swin
想象一下：你正坐在家里吹着空调，屋顶光伏板正在发电。突然一片云飘过来，光伏输出瞬间掉了一半；云飘走，输出又瞬间拉满。这种"过山车式"发电曲线，正是光伏并网最大的痛点。
中科院新Agent：AI City 2026三赛通吃，FETV斩获亚军
一个统一框架同时接管监控、鱼眼和行车记录仪三类交通视频，在AI City 2026出战三个赛道，FETV与第一名只差0.0007。这套「观察-推理-行动-验证」的智能体工作流拆解起来很有嚼头，适合所有对多模态视频理解与跨域泛化感兴趣的读者。
把CT、胃镜、化验单喂给AI后，胃癌诊断AUC涨了6个点
胃镜、CT、化验单、报告，医生从来不是单看一样就下结论。Gastric-X把这个真实逻辑搬进了AI基准：四期CT+内镜+生化指标+报告全部对齐，还配了2.6万条VQA。想让医疗VLM真正学会"综合判断"，这份基准值得一读。
跨域分类不用纠结：MLLM当调度员，让每张图找到最懂它的专家
做AI的都知道，图像分类这活儿，看着简单，做起来全是坑。尤其是当你把模型从实验室搬到现实世界，面对的不是单一数据集的“温室环境”，而是医疗影像、卫星图、人脸表情、日常物体照片混在一起的“修罗场”。
首次把DPO用到视频配音，CLIP分数冲到13.65
视频配音总是慢半拍？清华联手上海AI Lab把RLHF里的偏好优化搬进了视频配音任务，音画同步和听感双双拉满，还顺手解决了重建损失"听着对、感觉不对"的老毛病。
多模态检测也能减肥？Qwen2.5-VL当裁判，剪掉70%参数依然能打
多模态目标检测要落地，先把“双分支胖模型”瘦下来。InterPruner首次把结构化剪枝搬到RGB-红外检测上：剪掉一半通道，FLIR精度反而涨0.6%，70%剪枝率下依然稳得住。轻量化的正确姿势，这篇给了一个参考答案。
多语言文生图被曝"语言不平等"！LingT2I基准：10种语言33K提示词，通义千问也翻车
这几年文生图模型卷得飞起，从扩散模型到自回归模型，画质越来越惊艳，英语提示词玩得风生水起。无论是谷歌的Nano Banana，还是阿里的Qwen-Image，你用英语输入"一只在沙滩上戴墨镜的柯基"，出图效果基本都能当壁。
ACM MM 2026：让AI"听声作画"不再是玄学！中科大联合电信AI构建32.3万高质量数据集
音频生成图像终于有了像样的"教材"！中科大联合电信AI研究院打造的A2I-Set数据集，32.3万组高质量三元组，配合FAT-Fusion的AudioCanvas模型，让"听声作画"不再是鸡同鸭讲。数据开源的诚意之作，值得细品。
商汤新研究：AI先规划再看视频，token省90%，长视频理解还能更强？
看长视频最怕"看多少、看哪里"的选择困难。商汤这篇EVA直接用强化学习把"先规划再看片"的训练出来，多个长视频基准提升6-12%，视觉token还省得惊人。让AI学会"聪明地看"，这个方向值得重点关注。
六种音频编码器正面PK！澳洲高校首次系统性评测：从分类到推荐，谁才是音乐推荐的最优解？
分类任务的学霸，放到推荐系统里可能就成了学渣，这事儿你敢信？澳洲高校团队把六种主流音频编码器拉到KNN、SASRec和TIGER三种推荐范式下正面对决，还顺带拆解了语义ID的量化玄机。音频推荐选型，看这篇就够了。
