Microsoft研究院新作Ink3D:视频生成把3D纹理“雕”复杂了
3D贴图最烦的不是“有没有”,而是“能不能把复杂花纹贴得像真的”。Ink3D的思路很直接:几何交给3D模型,纹理交给视频生成,再用烘焙把两边缝起来,工程味很足,也很有启发。
LONGGE AI RESEARCH DAILY
每天筛选值得关注的 AI 论文,用工程视角拆解方法、实验和真正的落地价值。
目前已发表 1811 篇文章
3D贴图最烦的不是“有没有”,而是“能不能把复杂花纹贴得像真的”。Ink3D的思路很直接:几何交给3D模型,纹理交给视频生成,再用烘焙把两边缝起来,工程味很足,也很有启发。
这篇论文把一个很现实的问题挑明了:多模态大模型不是不会说细节,而是细节一多就更容易“翻车”。GRANFACT、层级评测和RP-DPO三件套,正好把“说得更细”和“说得更准”这对老冤家拎到台面上狠狠干一架。
这篇论文最有意思的地方,不是“又一个可控生成”,而是把控制粒度卡在了文本和结构之间的中间地带:既想要全局分布,又要求精确到直方图。HIG用最优传输把这件事做成了,而且还是推理时、无需训练、还能顺手做信息嵌入,思路挺干净。
扩散模型已经很会“画”,但要它严格听话,往往得靠额外网络、微调或复杂条件。HIG更狠:直接在推理阶段用最优传输改轨迹,既能控颜色分布,也能玩信息嵌入,还几乎不增加训练成本。
自动驾驶最怕的不是“不会开”,而是“开错了还直接上路”。这篇 DriveVer 很有意思:不重训大模型,偏偏把活放到测试时做二次验证和修正,34M 参数、80ms 推理,工程味很足。
AI生成图像检测这条线,最怕的不是模型差,而是对手升级太快。Flet不再死磕“静态特征”,而是直接把检测器做成能跟着新生成器一起变的系统,这个思路很对路。
这篇论文把“破损3D物体修复”从单纯补几何,推进到形状和纹理一起补,而且还要尽量保住原来没坏的部分。更狠的是,它不是只靠人工标注,而是把补哪里这件事也交给模型自己判断。
这篇工作最有意思的地方,不是又把心脏分割做高了几个点,而是它盯住了一个常被忽略的老毛病:同一个心脏在连续帧里不该“人格分裂”。再顺手把AHA 17段自动映射接上,临床味道一下就出来了。
这篇论文最有意思的地方,不是又堆了一个更大的网络,而是把“阵列无关”往前推了一步:先用理想 Ambisonics 训练,再用通道 dropout 模拟编码误差,最后靠 ASM 把任意麦克风阵列接进来。未知阵列、真实 Aria 眼镜、麦克风缺失,三关都过了,工程味很足。
这篇论文最有意思的地方,不是“又做了一个畸变校正”,而是把老问题的责任链条拆了:别再先把图像重建得歪歪扭扭,再去补救B0场。它直接从k空间联合估计无畸变图像和B0场,还把旋转视图和高斯原语塞进同一个物理模型里,工程味很浓。
这篇论文最有意思的地方,不是又堆了一个“混合框架”,而是它把光场超分里最容易翻车的两件事——几何错位和扫描错位——分别拎出来治。一个负责让空间和角度别各唱各的,一个负责让Mamba别顺着方格子乱跑。
这篇论文最有意思的地方,不是把视频放大,而是把“放大倍率”和“生成成本”硬生生拆开了。AVSR-Diff 用固定低分辨率潜空间做扩散,再用连续解码补细节,2×到8×都能跑,内存还几乎不涨,工程味很足。
LONGGE AI COMMUNITY
加入「龙哥读论文」知识星球,持续获取 AI 论文、资讯、开源项目、招聘与研究思路。
加入龙哥读论文微信群:添加微信 kangjinlonghelper,备注“研究方向 + 地点 + 学校/公司 + 昵称”。
微信扫码加入知识星球