慕尼黑大学视觉自回归图像生成新作：约10%参数，11亿模型FID反超20亿VAR

龙哥导读

这篇工作的反常识之处，不是“又把模型做大了”，而是发现视觉自回归模型（VAR）的一类破绽出在采样规则：同一尺度里的每个位置都猜得像模像样，拼在一起却可能牛头不对马嘴。慕尼黑大学团队冻结原有骨干，只增加约10%参数恢复尺度内依赖，便让11亿参数版本在核心指标上超过20亿参数VAR。真正值得研究的，是这笔质量、训练成本与推理时延的账。

一个图像生成模型，为什么能把每一小块都画得“有道理”，整张图却仍然出现断裂的肢体、粘连的动物、互相打架的纹理？如果问题真是模型不够大，继续堆参数应该越来越有效；可论文展示的现象恰恰相反：从3.1亿一路扩到20亿参数，局部空间不一致仍会出现。

图1：论文总览。左侧上排是VAR或Infinity原始结果，下排加入Logit Refiner；标记区域可看到物体结构、局部纹理或部件组合更连贯。右侧曲线表示不同规模VAR的FID，曲线整体下移说明改采样规则在各规模都有效；它不代表所有提示词、数据域和主观偏好都同幅改善。来源：论文与官方项目页。

一、问题不在“看不见”，而在“各猜各的”

视觉自回归建模（Visual Autoregressive Modeling，VAR）不按像素从左到右画完整张图，而是从粗尺度到细尺度逐级生成。先决定大体布局，再补轮廓，最后填纹理。相较逐像素生成，这种“下一尺度预测”显著缩短了序列，也让同一尺度的许多token可以并行计算。

问题藏在“同一尺度并行”里。骨干网络能同时看到这一尺度所有位置，并为每个位置给出概率分布；但真正抽样时，各位置彼此独立。左边认为“这里放一块虎纹很合理”，右边也认为“这里再放一块虎纹很合理”，两个局部判断单独都没错，组合后却可能多长出一截身体。

图2：二乘二棋盘格反例。左侧数据只有黑白相反的两种合法棋盘；中间每个格子的黑白边缘概率都是50%，但四格独立抽样会产生16种组合，其中只有2种合法；右侧按已生成格子继续条件化，才能保留“相邻颜色必须相反”的联合约束。图中的箭头表达从已知位置到下一位置的条件关系，不是图像像素必须采用固定扫描方向的证明。来源：官方项目页。

这个棋盘格例子是全文最关键的直觉。每个格子单看都是一半黑、一半白，边缘概率完全正确；四个格子各自抛硬币，却有14种组合违反棋盘规则。“每个位置都预测对了”不等于“整组位置能共同组成对的图”。自然图像比四格棋盘复杂得多，物体部件、轮廓方向、纹理连续性都依赖相邻位置协调。

这也解释了一个常见误区：把模型做大，只会让每个位置的分布估计得更好，却不会自动改变独立抽样的规则。论文在3.1亿到20亿参数的VAR上都观察到相似失败，说明它更像“解码协议漏洞”，而不是单纯的容量不足。

二、Logit Refiner怎么补：大模型并行看，小模型顺序收口

论文没有推倒VAR重来。原骨干继续负责最昂贵的工作：读取此前尺度，一次并行算出当前尺度所有位置的隐藏特征。新增的Logit Refiner只接收两类信息：某位置对应的骨干特征，以及同尺度里已经生成的token。它像一位最后审稿人，不重写整篇文章，只检查前后句是否彼此打架。

图3：方法结构。左侧原VAR在一个尺度内并行产生隐藏特征并独立抽样，红色虚线表示这些输出之间没有采样依赖；右侧骨干仍只并行运行一次，轻量精炼器沿蓝色箭头逐位置读取此前token，再输出当前logit。上下两条信息流分别保留“全局骨干理解”和“同尺度已生成上下文”。来源：官方项目页。

精炼器默认只有两层因果Transformer，而VAR骨干深度在16到30层之间。这里“小”很重要：如果每生成一个token都重跑20多层骨干，速度优势会被吃光；现在骨干每个尺度只跑一次，顺序执行的只是两层模块，并通过键值缓存避免反复计算历史token。

训练时采用教师强制：同尺度上下文使用真实token，因此所有位置仍可并行训练；只有推理时才逐个使用模型刚抽出的token。损失就是对全部尺度、全部位置的负对数似然求和。直觉上，它要求精炼器在“已有粗尺度、骨干特征、同尺度历史”都给定时，把真实token概率抬高。

还有一个容易被忽略的工程细节：身份初始化。输入投影一开始设置成只通过骨干特征、暂时忽略自回归上下文；Transformer块的输出投影置零，输出头和token嵌入从骨干复制。于是训练第零步，精炼器几乎等价于原VAR，不会先把已有能力打坏，再慢慢救回来。后续梯度只需学习“独立采样与联合采样之间的差”。

三、消融实验最有说服力：不是多塞两层就赢

论文把最容易混淆的解释拆开比较。16层VAR基线有3.1亿参数，FID为3.30；继续训练30轮，不改结构，FID到3.12；增加同样规模、但仍使用双向注意力和独立抽样的并行精炼器，总参数同样达到3.56亿，FID为3.15；只有因果注意力加尺度内自回归抽样，把FID降到2.81。

这组对照把“参数更多”“训练更久”和“联合依赖”分开了。额外训练有一点收益，多两层并行模块也有一点收益，但都明显够不到2.81。真正改变结果的是：后一个token能条件化到前面已经抽出的token，而不是所有位置继续各猜各的。

精炼器深度也给出有趣结论。哪怕不放额外Transformer块，只加入自回归输入投影、微调输出头并按顺序抽样，FID就从3.30降到3.02；一层为2.85，两层为2.81，继续加到四层和八层几乎不再改善。这支持论文的解释：骨干已经提取了丰富空间特征，小模块只需补残余依赖，不需要另造一套视觉理解系统。

但不要把“轻量”理解成“零成本”。训练精炼器时骨干冻结，减少了反向传播和重训开销；推理时尺度内仍需顺序生成。批量越小，顺序部分越难被并行吞掉。论文自己的效率图也显示：在批量1的低延迟场景，小骨干并非全面占优；到d24、d30，质量收益才更稳地覆盖额外时延。

四、核心结果：11亿参数为何能超过20亿

在图像分类识别（ImageNet）256×256类别条件生成上，四个VAR规模都得到改善：d16从3.30到2.81，d20从2.57到2.17，d24从2.09到1.83，d30从1.92到1.76。改善幅度随骨干变大从0.49缩到0.16，但没有消失。这说明大模型缓解了部分错误，却没有自动消除独立采样带来的结构缺口。

图4：从d16到d30的配对样例。每组上排为原VAR，下排为加入精炼器，类别和随机种子相同；从左到右骨干逐渐变大。图中可比较动物肢体、物体轮廓和重复结构是否协调。它是定性样例，不足以单独证明总体排名，因此要与5万张样本上的FID、精确率和召回率一起看。来源：官方项目页。

标题里的“11亿反超20亿”来自同一张系统表：24层VAR骨干约10亿参数，加精炼器总计11亿，FID为1.83；原生30层VAR为20亿，FID为1.92。低0.09不是视觉生成领域里天翻地覆的差距，但它有明确的信息量：修正解码假设，可以比把骨干近乎翻倍更有效率。

还要看指标的另一面。四个规模的召回率都提高0.04到0.06，说明改善并非简单牺牲多样性换取少数漂亮图；但精确率略降，Inception Score也有小幅下降。作者解释，精炼器在较低的无分类器引导强度下取得最佳FID，而更高引导往往推高Inception Score。换句话说，指标之间存在可调权衡，不能把“FID下降”翻译成所有维度无条件全胜。

论文还用四个训练随机种子复核d16加两层精炼器，FID分别为2.77、2.80、2.81、2.83，样本标准差0.025。相较主要基线的差距至少达到8个标准差。这个检查不能替代跨实现复现，却说明2.81并非偶然挑中一次幸运训练。

五、最实用的旋钮：只修早期尺度

不同尺度对最终结构的影响不一样。早期尺度token少，却决定物体数量、姿态和大轮廓；后期尺度token多，更多负责纹理和细节。消融实验逐个移除某一尺度的精炼器，发现去掉2×2尺度时FID从2.81恶化到2.98，去掉3×3时变成2.90；较高分辨率尺度的影响通常更小。

图5：16层VAR的早期尺度权衡。横向逐步把精炼器应用到更高分辨率尺度，质量接近完整精炼，但顺序token数随之增加。精炼到8×8时保留88%的FID改善并减少84%精炼开销；到10×10时保留99%改善并减少71%开销。这里的“减少”只针对精炼器开销，不是整套模型端到端时间减少同样比例。来源：官方项目页。

这给部署留下一个清晰旋钮：不必在所有尺度都顺序修。对吞吐敏感的批处理，可以精炼更多尺度；对交互延迟敏感的单图生成，可以只修2×2到8×8或10×10，让全局结构先协调，细纹理继续并行。论文最有工程味的贡献，不只是一个更低FID，而是把“多花多少时间换多少一致性”做成可调策略。

图6：跨规模质量—效率曲线。横轴为采样时间，纵轴为FID，越靠左下越好；左半对应批量1，右半对应批量16。批量16时，各规模加入精炼器后的点推进了帕累托前沿；批量1时，小模型收益更依赖可接受的时延，d24与d30优势更明确。图中比较针对论文测试硬件与实现，不能直接换算成所有生产环境的绝对延迟。来源：官方项目页。

训练成本对比同样值得看。冻结d16骨干训练精炼器需要66个H200小时，FID到2.81；联合微调骨干需要127个H200小时，FID到2.72；从头训练集成精炼器的完整模型需要1845个H200小时，FID到2.57。后者质量最好，却为剩余约三分之一的改善付出28倍训练算力。团队已有VAR检查点时，插件路线的机会成本明显更低。

六、从类别生成走到文本生图，收益还在吗

ImageNet类别生成只告诉模型“画某一类”，开放文本生图则要同时处理对象、数量、属性和空间关系。论文把同样的精炼器接到20亿参数Infinity骨干上，在1024×1024分辨率生成，并只精炼到6×6的早期阶段。

图7：20亿参数Infinity文本生图对比。每组上排为原模型，下排为加入精炼器，橙色标记指出原图中的结构或纹理不一致；可观察重复物体、连接关系和局部形状是否更自然。这些是作者挑选的定性样例，只能说明改进类型，不能代替完整提示词分布上的盲测。来源：官方项目页。

量化上，自动偏好指标（HPSv3）在12个子集、共600张图上由9.79升到9.91。建筑、艺术、角色、设计、植物、产品和交通等子集提高，动物、食物、科学等少数子集略降或基本持平。因此更准确的说法是“平均偏好与空间一致性有所改善”，而不是“文本生图所有类别全面提升”。

这组实验的意义，在于同尺度独立抽样问题并非只属于最初的类别条件VAR。Infinity已经把尺度自回归扩展到开放词汇和高分辨率，仍能从早期尺度联合采样中获益。不过600张图和单一自动偏好指标仍有限，真实用户对文字、手部、复杂布局和长提示词的稳定体验，需要更广评测。

七、与两条相近路线相比，它到底补了哪一环

第一条是原始VAR：《Visual Autoregressive Modeling》把图像生成从“下一token”改成“下一尺度”，核心价值是缩短序列、建立粗到细生成。Logit Refiner不替代这条路线，而是指出其尺度内独立抽样遗漏了联合依赖，再把这一环补回来。没有VAR的并行骨干，精炼器也没有低成本可接的丰富特征。

相似论文：《视觉自回归建模：通过下一尺度预测实现可扩展图像生成》
https://arxiv.org/abs/2404.02905

第二条是尺度解耦视觉自回归模型（M-VAR）：它从尺度解耦的自回归结构出发改造骨干，目标同样是更高质量的尺度式生成。它更像“重做负责理解与预测的主机”，Logit Refiner更像“保留主机、改最后的联合采样器”。两者处理的是正交环节，论文也明确把与其他VAR改进结合留作未来工作。

相似论文：《M-VAR：面向高质量图像生成的尺度解耦自回归建模》
https://arxiv.org/abs/2411.10433

如果把路线拉远一点，还能看到与掩码生成模型（MaskGIT）式迭代修订的差别。后者会多轮重新判断一批被遮盖token，常常需要重复经过完整生成网络；Logit Refiner则只让轻量模块在一次尺度生成内部顺序收口，不反复重跑昂贵骨干。它牺牲了一部分并行度，换取的是更直接、局部的联合依赖恢复。

之前我们曾讨论过Genesis的跨尺度生成：那篇工作关注卫星地图沿层级扩展时，几何和纹理误差怎样累积；Logit Refiner关注通用图像生成里，同一尺度的token为何各自合理却组合失配。两者任务不同，但共同提醒了一点：层级生成不能只检查单块质量，还要检查块与块、尺度与尺度之间的约束是否被显式保留。

八、边界在哪里：别把插件写成免费午餐

第一，顺序计算没有消失。它只是从昂贵骨干转移到轻量精炼器，并能通过早期尺度截断降低成本。单张图、极低时延或边缘设备场景，额外串行路径仍可能不划算；批量生成和较大骨干更容易摊薄它。

第二，主证据集中在VAR家族。论文覆盖类别条件VAR与文本条件Infinity，足以支持“跨两种VAR变体有效”；但还不能直接推出扩散、掩码生成或所有并行生成器都能用同一个模块获得相同收益。那是作者提出的更一般方向，不是已经完成的结论。

第三，指标改善不等于语义正确。FID衡量分布接近程度，HPSv3是自动偏好分；它们都不能保证物体计数、文本拼写、物理关系或提示词遵循完全正确。静态配对图证明了若干典型错误可被修复，却不是开放世界可靠性的完整审计。

第四，尚缺独立复现。官方代码和检查点没有发布，论文给出的训练与推理成本暂时只能作为作者报告。等完整实现开放后，最值得复核的不是再跑一遍FID，而是不同硬件、批量、尺度截断和键值缓存策略下的端到端时延。

九、龙哥点评：这不是更大的发动机，而是修传动结构

龙哥最欣赏这篇论文的地方，是它没有把所有问题都归结为“规模还不够”。图像生成很容易陷入参数崇拜：结构错了就加层，细节差了就加数据，榜单不够好就加算力。但如果损失来自抽样时错误地假定各位置独立，再大的骨干也只能把每个局部概率算得更准，不能凭空恢复被规则删掉的联合关系。

从工程投资回报看，66个H200小时把FID从3.30拉到2.81，明显比1845个H200小时从头训练更像一项可落地升级。它尤其适合已经拥有昂贵VAR检查点、又不愿重新预训练的团队。模块化也便于做A/B测试：同一骨干、同一种子，开关精炼器即可观察结构变化。

但产品负责人不能只看“约10%参数”。参数量影响模型存储，顺序token数影响首图延迟与吞吐，两者不是一回事。真正上线时，应先按业务批量与延迟预算测三条曲线：不精炼、只精炼早期尺度、完整精炼。论文已经证明中间档位存在，是否划算仍由实际服务负载决定。

对研究者而言，更大的启发是“先检查概率分解，再检查网络容量”。许多并行生成方法为了速度会引入条件独立假设，训练损失却只看局部预测，于是模型可能学到正确边缘分布，生成时仍组合失败。轻量顺序校正、局部能量模型或其他联合采样机制，都可能比继续扩骨干更直接。

总结：真正稀缺的不是更多概率，而是让概率彼此守规矩

Logit Refiner把一个看似“画得不够好”的问题，重新定义成“联合抽样不完整”的问题。VAR已经会从粗到细理解图像，也能给每个位置合理概率；缺的是同尺度位置落子时彼此协调。两层因果模块、冻结骨干、教师强制训练与键值缓存，共同把这项修正控制在约10%参数和较低训练成本内。

实验支持三个稳健结论：各规模VAR的FID都改善；11亿参数组合在该协议下超过20亿VAR；早期尺度承载大部分收益，可以用部分精炼换取更好时延。与此同时，顺序计算、有限文本生图评测和代码未发布仍是现实边界。

如果把它放进更长的视觉生成路线，最值得记住的不是某个榜单数字，而是一条方法论：当系统的局部预测都正确、整体结果仍不协调时，先查被并行化过程删掉了什么依赖，再决定是否继续堆参数。这比“模型不够大”更难发现，也往往更接近真正的瓶颈。

本文基于龙哥读论文数据库及论文挖掘器的模型上下文技术（MCP）进行汇总整理。论文原图用于必要的评论与说明，版权归原权利人所有，图源均为论文官方项目页。

本文仅代表对论文公开材料的技术解读，不构成对尚未发布代码、权重或生产性能的背书。更多技术细节请阅读原论文。