上海AI Lab最新研究:给视频做深度估计,零成本“打游戏”就搞定了?
视频深度估计一直卡在“没数据”上。这篇来自上海AI Lab、浙大和悉大的论文,直接去游戏里“白嫖”了4万段高精度视频深度数据,再把手里的视频生成扩散模型改成深度估计模型,3步去噪就出结果,跑得比谁都快。效果直接起飞,把之前所有生成式深度模型都甩在身后。
LONGGE AI RESEARCH DAILY
每天筛选值得关注的 AI 论文,用工程视角拆解方法、实验和真正的落地价值。
目前已发表 1811 篇文章
视频深度估计一直卡在“没数据”上。这篇来自上海AI Lab、浙大和悉大的论文,直接去游戏里“白嫖”了4万段高精度视频深度数据,再把手里的视频生成扩散模型改成深度估计模型,3步去噪就出结果,跑得比谁都快。效果直接起飞,把之前所有生成式深度模型都甩在身后。
3D场景生成一直卡在两个字:太大。SceneTok偏偏反着来,把场景先压成少量无序token,再把“渲染”和“生成”拆开做,结果是压缩率高得离谱,速度还不慢,挺像把大卡车拆成乐高再开回去。
单图生成3D场景,最难的不是“能生成”,而是“生成后还能不能继续细化且不跑偏”。HIVE-3D把粗场景、2D分割、注意力对齐和体素超分辨率串成一条链,思路很工程,也很实用。
这篇论文最有意思的地方,不是又测出一个“更强的评审模型”,而是直接把评审这件事拆成了管线问题。模型、视角、输入、提示词,谁都别想装作无关;结果也很实在:六视图RGB加规则提示,成了最稳的低成本默认方案。
3D贴图最烦的不是“有没有”,而是“能不能把复杂花纹贴得像真的”。Ink3D的思路很直接:几何交给3D模型,纹理交给视频生成,再用烘焙把两边缝起来,工程味很足,也很有启发。
这篇论文把“破损3D物体修复”从单纯补几何,推进到形状和纹理一起补,而且还要尽量保住原来没坏的部分。更狠的是,它不是只靠人工标注,而是把补哪里这件事也交给模型自己判断。
这篇论文最有意思的地方,不是“又做了一个畸变校正”,而是把老问题的责任链条拆了:别再先把图像重建得歪歪扭扭,再去补救B0场。它直接从k空间联合估计无畸变图像和B0场,还把旋转视图和高斯原语塞进同一个物理模型里,工程味很浓。
机器人和室内感知一边想“看懂世界”,一边又得守住隐私底线,这事儿一直挺拧巴。UTTO的思路很直接:既然不能看RGB,那就把不确定性当线索,专门修那些“看不稳”的点。
动态高斯最烦的,不是会动,而是 一动就把光照也“焊死”在纹理里 。DR-GS干的事很直接:把几何、光照、材质拆开,再让它们在变形和换光下各司其职。
长视频重光照最烦的不是“能不能变亮”,而是“每一块都别自己演戏”。这篇 NVIDIA 新作把问题改写成跨块连续翻译,再加暖启动提示,思路很工程,也很实用。
这篇论文很像给大模型出了一张“3D几何博士资格考试卷”。它不只看模型会不会写代码,更看它能不能把论文读对、把几何语义守住,结果相当不客气:最强模型也没过四成。
Home3D 1.0 不是单纯“把图变成 3D”,而是把家具商品化这件事拆成几道硬菜:几何、纹理、材质、部件,各管一摊。最有意思的是,它把“可编辑”放到了和“像不像”同等重要的位置,这才像真正面向设计和电商的方案。
LONGGE AI COMMUNITY
加入「龙哥读论文」知识星球,持续获取 AI 论文、资讯、开源项目、招聘与研究思路。
加入龙哥读论文微信群:添加微信 kangjinlonghelper,备注“研究方向 + 地点 + 学校/公司 + 昵称”。
微信扫码加入知识星球