把视频“偷摸”压缩的事告诉大模型:微软新方法令牌省93%
视频理解模型往往要把每一帧都当成独立图片来处理,这又慢又浪费算力。微软和斯坦福的研究人员直接从视频压缩算法中取经,用轻量级的运动向量和残差代替大部分图像的密集编码,让首帧生成时间快了86%,令牌用量暴减93%,同时性能还不降反升!这个方法与之前的Quickviewer等非均匀采样思路不同,它是在编解码层面做“减法”,从根源上避免了冗余。
LONGGE AI RESEARCH DAILY
每天筛选值得关注的 AI 论文,用工程视角拆解方法、实验和真正的落地价值。
目前已发表 1811 篇文章
视频理解模型往往要把每一帧都当成独立图片来处理,这又慢又浪费算力。微软和斯坦福的研究人员直接从视频压缩算法中取经,用轻量级的运动向量和残差代替大部分图像的密集编码,让首帧生成时间快了86%,令牌用量暴减93%,同时性能还不降反升!这个方法与之前的Quickviewer等非均匀采样思路不同,它是在编解码层面做“减法”,从根源上避免了冗余。
世界模型最容易犯的错,不是不会生成,而是生成得太像了,结果把动作是否有效这件事给糊弄过去了。慕尼黑工大这篇论文把“能不能信”拆成一层层门槛,读完会发现,闭环评测这件事,真没法只看画面好不好看。
掌脉识别最烦的不是“认错人”,而是图像本身先把自己搞得像一团雾。本文把低对比度增强和特征匹配过滤串成一条完整链路,在三套数据上把效果、泛化和工程代价都讲得比较实在,值得认真看。
视频生成最怕的不是“算不动”,而是“算力明明省下来了,GPU却在等别人”。FVAttn抓住的正是这个系统级痛点:自适应稀疏注意力一边提质量,一边制造负载不均。论文把运行时修负载、空闲算力再利用和计算通信重叠串起来,思路很工程,也很实用。
视频生成最贵的地方,不是模型不会画,而是算力先被注意力“拖死”了。FVAttn的思路很实在:先把多卡负载不均修掉,再把空出来的等待时间塞回高价值计算里,属于工程味很浓、也很能打的一类工作。
Anthropic这份系统卡很像一份“体检报告”:一边告诉读者 Claude Opus 4.7 在软件工程、长上下文、代理搜索上更能打,另一边把生物、网络、对齐风险也摊开讲清楚。好看的不是口号,是它把“能力提升”和“安全边界”一起量化了。
ELT首光仪器不是“画图纸”阶段了,SCAO模块已经开始真刀真枪地制造、集成和闭环测试。更硬核的是,团队已经在台架上跑出500Hz稳定闭环,这种工程进度比很多论文里的“未来工作”更像未来。
这篇工作最有意思的地方,不是又堆了一个更大的超分模型,而是先问了一句很朴素的话:同样是低清图,凭什么都用同一套力气修?DDR-SR把“难图重修、易图轻修”这件事做成了可路由的系统,思路很工程,也很实用。
这篇工作很“朴素”,但不空。它没有靠大模型堆参数,而是把低光照增强里最容易被忽略的几个老问题——大气光估计不准、透射率细节糙、结果容易发灰——逐个拆开处理。思路偏传统,但工程味很足,适合想看物理模型怎么落地的人。
四足机器人最难的不是“跑起来”,而是“跑着跑着还知道该怎么换姿势”。这篇工作把轨迹优化、动作预训练、强化学习和感知蒸馏串成一条链,真机直接冲到6米/秒,属于能看懂、也能落地的那类机器人论文。
原子一跑,相干就散,这事在里德伯极化激元里尤其致命。本文不去硬追“把原子冻住”,而是让原子在存储期间自己把相位补回来,三套协议的思路都很直接,实验可操作性也不差。
这篇工作最狠的地方,不是“能修视频”,而是把“多步扩散修复”硬生生压成了一步,还顺手把对外部草稿的依赖也掐掉了。对于视频对象移除这种既要像真、又要够快的任务,D2DF给出了一条很工程化的路子。
LONGGE AI COMMUNITY
加入「龙哥读论文」知识星球,持续获取 AI 论文、资讯、开源项目、招聘与研究思路。
加入龙哥读论文微信群:添加微信 kangjinlonghelper,备注“研究方向 + 地点 + 学校/公司 + 昵称”。
微信扫码加入知识星球