阿里7B开源原生音视频生成：2K级效果对战33B大模型
视频生成卷到今天，画面早就不稀奇了，但大部分模型要么不出声，要么声音是后期硬贴上去的。阿里DreamX团队直接把声音和画面“打包生成”，还只用了7B参数就敢对标22B/33B的大块头，并且开源了2K精炼器，值得想搞多模态生成的朋友细品。
标签：视频生成
共 83 篇
图像恢复｜天津大学ZVRM：零样本视频修复提速近3倍，时序闪烁减八成
又一篇零样本视频修复的狠活。天津大学团队把文本到图像扩散模型用出了花：不用训练就能修视频，还支持文本、图像两种参考输入，推理速度直接砍到三分之一，时序一致性指标WE降到原来的五分之一。被视频闪烁折磨过的同学，这篇值得重点研究。
CVPR 2026斯坦福新作：一张图推演3D世界，碰撞也能预测
斯坦福在CVPR 2026交出的这份P3Sim答卷，把"世界模型"从玄学拉回了工程：概率图模型+自回归Transformer+几何条件化，三大件拼出一个能从单张图推演3D物理变化的模拟器。新视角合成在SEVA基准上RE10K达到21.54的PSNR，3D物体操作在3DEditBench上PSNR冲到23.12。7月底刚聊过同团队PhyWM，这篇更像是把"懂物
UCLA+字节跳动：LoL让视频生成连续跑12小时不掉链子！
还在为AI视频生成几秒就崩、动作循环重复而头疼？UCLA携手字节跳动Seed团队祭出LoL大招，让视频生成一口气跑12小时不带喘的，关键还不用重新训练模型！
上交大等提出ForeWAM：机器人不生成视频也能“预见”未来，成功率96.7%
机器人操作正从“看一步动一步”走向“预见式决策”，但生成未来视频开销太大。上海交大等团队提出的ForeWAM，用一次KV预填充让动作模型“脑补”动态未来，不生成视频、不用未来观测，LIBERO成功率96.7%，动作延迟比Fast-WAM降67%。这篇论文值得细读。
上海交大最新基准：视频画质高≠机器人操作迁移成功，11个模型实测最高84.6
你第一眼看到的那种画面流畅、动作丝滑的机器人操作视频，可能只是“好看”，并不是真的“会干活”。上海交大与上海AI实验室等提出的H2R-Bench基准，把11个主流视频生成模型拉到真实的人类演示数据上逐一“体检”，结果发现视频画质与跨实体迁移成功率的相关系数只有0.14。想搞清楚视频生成模型到底能不能帮机器人学数据，这篇必读。
首次把DPO用到视频配音，CLIP分数冲到13.65
视频配音总是慢半拍？清华联手上海AI Lab把RLHF里的偏好优化搬进了视频配音任务，音画同步和听感双双拉满，还顺手解决了重建损失"听着对、感觉不对"的老毛病。
告别昂贵遥操作？这家机构用"看视频"教手术机器人操作
手术机器人学动作，最缺的就是带标签数据。这篇来自中佛罗里达大学等机构的工作，首次把世界-动作模型（WAM）用到手术机器人上，在动作标签预算固定的条件下，用免费的无动作视频预训练就把闭环成功率从63.5%拽到77.8%，PegTransfer单任务直接涨了20个百分点。视频不要钱、标签贵上天，这条路子值得所有做医疗机器人的人看一眼。
华中科大+地平线新作：流式视频生成FVD暴降36.6%，训练推理终于“对齐”了
视频生成要当世界模型，最大的坑就是训练时乱炖噪声、推理时要按顺序去噪。华中科大联合地平线这篇Stream Forcing把“训练节奏”做成课程：先广撒网、再精对齐，UCF-101上FVD直接降了36.6%，还能零样本飙到128帧。继2026年6月聊过NVIDIA+清华的Causal-rCM之后，这是又一篇把流式生成训练做扎实的工作。
字节等发布RGBA视频生成新作：跳过35%透明token，1.2倍提速画质不降
游戏行业离不开RGBA动画，但“先生成RGB再抠图”的老路子，一到半透明边缘就翻车。字节联合北大清华带来一个反直觉方案：既然alpha本身就是可见性信号，那干脆用它来跳过计算——用2.4K个游戏资产视频训练RGBA生成器，1.2倍提速，FVD 174.4，质量几乎无损。
北大阿里最新：两步视频生成新范式DUET，质量追平DMD、多样性翻倍！
两步视频生成一直面临“要质量还是要多样性”的取舍难题。北大、阿里与清华联手提出的DUET，干脆让sCM和DMD两位专家按噪声级分工，高噪声步管结构多样性，低噪声步管细节质量，实验显示多样性比DMD翻倍、质量还追平了DMD。思路简单到让人拍大腿，效果却相当能打。
中科院新作：视频大模型幻觉克星VADER，EventHallusion飙至72.6%
视频大模型对着画面侃侃而谈，却常常“睁眼说瞎话”？中科院团队提出VADER，一个纯推理期干预的训练无关框架，让LLaVA-Video-7B在EventHallusion上飙到72.60%，还顺手超越了依赖额外训练的TPO与RRPO。不微调也能这么能打，值得一读。
