大模型不需要深:一个递归技巧让数独生成器小5倍快3倍
模型大≠能力强?这篇来自洛桑联邦理工学院(EPFL)等机构的工作,直接把「递归循环」这一此前只在自回归模型里验证过的思路,正式引入了掩码扩散模型(MDM)。结果相当亮眼:一个6层Transformer循环5次,参数省5倍,模型小了,效果反而吊打30层模型!更绝的是,推理时去噪步数还能砍掉近3倍。龙哥觉得,这可能是近期最实用的模型「瘦身」思路之一。
LONGGE AI RESEARCH DAILY
每天筛选值得关注的 AI 论文,用工程视角拆解方法、实验和真正的落地价值。
目前已发表 1573 篇文章
模型大≠能力强?这篇来自洛桑联邦理工学院(EPFL)等机构的工作,直接把「递归循环」这一此前只在自回归模型里验证过的思路,正式引入了掩码扩散模型(MDM)。结果相当亮眼:一个6层Transformer循环5次,参数省5倍,模型小了,效果反而吊打30层模型!更绝的是,推理时去噪步数还能砍掉近3倍。龙哥觉得,这可能是近期最实用的模型「瘦身」思路之一。
以前给AI发“大锅饭”奖励,生成区域无论主次都一个待遇,难怪画出来的图总在细节上翻车。这次STAR的方法挺巧妙——直接把模型里的注意力图拿来当导航,给“画什么”和“画在哪里”的区域多发奖励。效果是真不错,GenEval飙到0.97,而且计算量几乎没增加,属于花小钱办大事的典范。
3D扩散模型做医学图像翻译效果虽好,但训练时显存随分辨率三次方暴增,一张H100都勉强。PPDM (Pixel Puzzling Diffusion Model) 用像素拼图妙招,把空间尺寸“平移”成通道数,显存从49GB直降到6.94GB,效果还更稳。不是炫技,是真正解决落地痛点的好工作。
当你想保护自己的照片不被AI拿去“换脸”,现有方法都是在图像上加点看似“聪明”的扰动。但武大这项研究告诉你:别跟扩散模型死磕了,让它自我怀疑才是王道!一句话:用魔法打败魔法,效果直接翻三倍。
继之前我们聊过阿里"统一思考者"给AI画图装大脑、字节跳动"先想后画"解决图像编辑难题后,龙哥发现,AI图像生成领域对风格的控制越来越精细了。但一个核心瓶颈一直没解决: AI作画好不好看,谁来打分? 通用奖励模型(比如ImageReward)根本不懂「风格」,只知道「像不像」或者「喜不喜欢」。今天这篇CVPR 2026的新作StyleDoctor,就是给风格
LONGGE AI COMMUNITY
加入「龙哥读论文」知识星球,持续获取 AI 论文、资讯、开源项目、招聘与研究思路。
加入龙哥读论文微信群:添加微信 kangjinlonghelper,备注“研究方向 + 地点 + 学校/公司 + 昵称”。
微信扫码加入知识星球