语义token+扩散渲染:Vega新范式
视频理解和视频生成长期像两拨人:一边要“看懂”,一边要“画准”。Vega直接把两件事塞进同一个框架里,还用3B参数在多个基准上打出了很能打的成绩,值得细看。
LONGGE AI RESEARCH DAILY
每天筛选值得关注的 AI 论文,用工程视角拆解方法、实验和真正的落地价值。
目前已发表 1811 篇文章
视频理解和视频生成长期像两拨人:一边要“看懂”,一边要“画准”。Vega直接把两件事塞进同一个框架里,还用3B参数在多个基准上打出了很能打的成绩,值得细看。
机器人偏好学习最烦的不是“没数据”,而是“数据看起来很多,实际全在讲废话”。这篇 FPL 直接把偏好拆成速度、安全、质量等自然语言轴,监督更细,策略也更会“看脸色”了。
多模态推理最怕“越想越跑偏”,这篇 VisRef 直接把问题说透了:不是单纯让模型多想,而是让它想的时候还记得回头看图。无需再训练,固定预算下还能稳定涨点,工程味很足。
复杂多实例生成最烦的不是“画不出来”,而是“画对了对象却串了属性”。InstanceControl 直接绕开手工实例标注,用视觉语言模型先把文本和区域对上,再用自适应掩膜细化兜底,思路很工程,效果也很实在。
这篇论文最狠的地方,不是分数有多高,而是它把“高分幻觉”拆得很难看:二元问答能蒙混过关,真到区分相近乐器、长上下文和时间定位时,很多模型立刻露馅。对做音频大模型评测的人来说,这篇更像一份体检单。
VLA剪枝最尴尬的地方,不是剪不动,而是剪完还得靠恢复“补作业”。这篇论文直接把恢复拿掉,用ΔW去找真正该删的参数,思路很硬。
低空无人机不是“拍得清”就算懂空间,真正难的是跨视角、几何关系和运动理解。SpatialUAV把这件事拆成14类任务,结果很直接:主流模型离人类还差得不小。
这篇论文的切口很狠:不去讨论“多模态大模型会不会推理”,而是直接问它们在只看视频时,能不能别靠语言偏见乱猜。VisionToM 不是简单微调,而是拿注意力头开刀,思路清楚,代价也低,适合真正想把可解释性做成工具的人。
多视角自动驾驶 VLM 的老毛病很现实:token 太多,推理就慢;token 剪太狠,车就容易“看走眼”。MVPruner 的关键不是硬砍,而是先看哪个视角更杂、再看哪个 token 更有任务相关性,思路比较像老司机先扫全景、再盯关键路口。
长视频最怕的不是“看不懂”,而是“看得懂一点点,却被海量冗余帧淹没”。HPP把感知和推理解耦,让编码型大模型像程序员一样分层探测视频,思路很硬核,成本也更像工程方案而不是玄学。
ViQ这篇很像“把图像也做成词表”的认真尝试:既想保住细节,又想让视觉表示更适合多模态大模型。最有意思的是,它不是只顾理解,也没把重建丢掉,效率还真提上来了。
阿里和浙大这次把“鉴伪”做成了会自我进化的智能体:先看语义、再看频域、还会调用空间专家,最后靠事后驱动反复打磨推理链。更有意思的是,它不只追求答对,还在和 GPT-5 比谁更会“讲道理”。
LONGGE AI COMMUNITY
加入「龙哥读论文」知识星球,持续获取 AI 论文、资讯、开源项目、招聘与研究思路。
加入龙哥读论文微信群:添加微信 kangjinlonghelper,备注“研究方向 + 地点 + 学校/公司 + 昵称”。
微信扫码加入知识星球