何恺明参与!Group Norm让小批量训练不再翻车
Batch Norm 一遇到小批量就容易“犯怵”,这篇论文直接给出替代方案:把通道切成组,在组内做归一化,既稳又好迁移。对检测、分割、视频这类显存紧张任务尤其友好。
LONGGE AI RESEARCH DAILY
每天筛选值得关注的 AI 论文,用工程视角拆解方法、实验和真正的落地价值。
目前已发表 1811 篇文章
Batch Norm 一遇到小批量就容易“犯怵”,这篇论文直接给出替代方案:把通道切成组,在组内做归一化,既稳又好迁移。对检测、分割、视频这类显存紧张任务尤其友好。
TIGER专治人脸视频修复里的三大顽疾:身份偏移、视角纠缠和“修得像但不像本人”。它把身份、几何和生成先验一起拉上场,还顺手做了一个大规模数据集,属于能打又能落地的那种。
SAM2Matting把“跟踪”和“抠图”这对老搭档拆开干活,思路很干净。更离谱的是,它只用图像训练,却能在视频抠图上打出零样本SOTA,属于那种看完会想拍桌子的设计。
这篇论文把医学切片超分辨率从“随便补细节”改成“先守规矩再补脑补”,特别适合临床场景。零空间约束负责不乱改原始观测,样条混合负责把缺失层补得更像那么回事。
这篇论文把“核方法太慢”这件老毛病,直接交给Nyström子采样来处理,而且不是只顾着快,还给出了向量值回归场景下的收敛理论。更关键的是,它把去噪这类很实用的问题也一起纳入框架,属于既能打理论、又能落地的那种。
这篇论文把“教师强制”和“自习强制”拧成了一个统一蒸馏配方,还顺手把连续时间一致性模型和分布匹配蒸馏接上了。更有意思的是,它不只会讲方法,还真把流式视频生成和交互式世界模型都跑出了像样的结果。
这篇论文挺有意思,核心不是让AI帮人飞得更稳,而是让AI知道什么时候该帮、什么时候该收手。宾大这套L2C把“教练”这事做成了强化学习问题,FPV无人机实验也给出了挺硬的结果。
这篇论文最有意思的地方,是把原本“玄学味很重”的GAN训练,硬生生拆成了可解的高维动力学问题。类条件、相关性、非零均值这些看起来很乱的因素,最后都被压进了一个有效协方差里,理论和实验还能对上。
这篇论文把“GAN为什么会学、什么时候会崩”讲得很透:不是只看单个特征强不强,而是看它们凑在一起后的有效协方差。相关性这回不只是添乱,处理得好还能把弱信号抬进可学习区间,挺有意思。
这篇 Velox 有点意思:不靠时间对应,不靠复杂输入,只拿动态点云就想把 4D 几何和外观一起学明白。更妙的是,它不止会“记住”4D,还能拿去做视频转4D、3D追踪和布料仿真,算是把潜在表征这张牌打得挺顺。
这篇论文把卫星链路里最贵的“像素搬运工”思路,换成了更聪明的“语义快递员”。压缩、恢复、推理一条龙,目标不是把图原封不动送到地面,而是把任务真正需要的信息送到位。
这篇 AMG-Fuse 很会“借力打力”:不死磕把退化图硬修到完美,而是先用伪真值把训练方向扶正,再用掩码把每个模态该出力的地方分清楚。雪、雨、雾都能一起照顾到,还顺手把下游检测也拉了一把,属于很实用的那种新方法。
LONGGE AI COMMUNITY
加入「龙哥读论文」知识星球,持续获取 AI 论文、资讯、开源项目、招聘与研究思路。
加入龙哥读论文微信群:添加微信 kangjinlonghelper,备注“研究方向 + 地点 + 学校/公司 + 昵称”。
微信扫码加入知识星球