只训练27.4万参数，61/63项评测改善：SPARK给冻结DiT装上“小调音台”

龙哥导读

SPARK冻结DiT与VAE，只找出每个Transformer块、每条特征流里最活跃的8个通道，再用27.4万参数按输入图像调节它们。论文在三种骨干、三套数据、七项指标组成的63个组合中改善61项。它没有再造更大的超分模型，而是把“该改哪里”缩成了一个极稀疏的控制面。

先看最直观的变化。下面三组图分别以TSD-SR、DiT4SR和TEASR为底座，左边是低分辨率输入，中间是冻结骨干的原始输出，右边是加入SPARK后的输出。

图1：从上到下为TSD-SR、DiT4SR、TEASR；每行从左到右为LR输入、冻结基线、SPARK。座椅边缘、橘叶纹理与花叶结构在右栏更清楚。该图支持“这些样例的局部细节有所改善”，不能单独证明所有真实图像都会更自然，也不能判断新增纹理是否在每个像素上都完全忠实。

第一排里，座椅的轮廓和靠背开孔更容易分开；第二排里，橘子叶片的脉络与表面颗粒更丰富；第三排里，叶片交叠处和花茎附近的结构更清晰。变化不是“从模糊突然变成真实照片”那种戏剧性翻转，而是已经很强的底座上，局部结构继续向前挪了一步。

真正反常识的是，这一步并没有通过更新数十亿乃至更多主干参数完成。主干越大，并不意味着适配时必须把大部分权重重新训练；如果模型内部存在少数高杠杆通道，小控制器也可能撬动可见结果。

一、超分的矛盾：图要更“真”，又不能凭空乱补

单图超分看起来像放大图片，实际是在信息缺失条件下重建高分辨率内容。模糊、噪声、压缩、镜头抖动和未知退化叠在一起后，同一个低分辨率小块往往对应多种可能的高清纹理，模型必须在“像不像原图”和“看起来够不够自然”之间做选择。

早期路线更看重像素误差，容易得到稳妥但偏平滑的结果；GAN和扩散路线更善于生成锐利纹理，却可能把“合理细节”写成“并不存在的细节”。到了真实世界超分，这个矛盾尤其尖锐：读者喜欢清楚，工程系统却必须知道清楚到什么程度还可信。

扩散Transformer带来了强大的生成先验与全局建模能力，但适配它们并不便宜。全量微调成本高，LoRA、Adapter等参数高效方法虽然省参数，仍然需要回答两个问题：模块应该接在哪里，以及有限参数究竟改动哪些表示最有效。

SPARK把问题换了一个角度。它不先问“加什么模块”，而是先观察冻结模型在处理图像时，哪些内部通道长期处于异常高的激活水平；如果少数通道承担了不成比例的影响力，那么那里也许就是最经济的调节旋钮。

二、关键发现：0.5%的通道，握住了大部分激活能量

论文研究的是多模态DiT式超分骨干。每个Transformer块里有两条并行信息流：hidden stream处理图像token，encoder stream提供条件信息，两条流在多个块中交互，共同决定最终重建。

作者先对每张图、每个块、每条流的激活张量做统计：对某个通道在所有token上的绝对值取平均，得到该通道的激活幅度。这个量不直接表示“语义是什么”，但能回答一个基础问题——模型运行时，哪些通道的响应持续更大。

统计结果非常偏斜。论文聚焦通道维度中约2%的前32个通道，跨块的基尼系数中位数达到0.62；更极端的是，当K取8时，这8个通道只占通道维度的0.5%，却平均承载encoder stream中85.6%、hidden stream中68.8%的平方激活能量。

这不是“少量参数比较重要”的泛泛说法，而是一个可以测量的高度集中结构：同一层里，大多数通道很安静，少数通道像音响总线一样控制着输出强度。但激活大不等于一定有用，所以作者又做了更关键的因果式干预。

他们分别把排名最前、随机选取、排名最末的K个通道置零，然后观察重建指标与图像。结果是：移除头部通道时，画质随着K增大出现明显、近似单调的下降；随机通道影响居中，底部通道影响最小，细节与结构也在头部通道被移除后更快崩坏。

这一步把“统计上很大”推进到了“功能上敏感”。它仍不能说明这些通道独自编码了全部纹理，也不能证明通道之间没有冗余；但它足以支持一个工程判断：如果适配预算很小，优先碰这些通道，比均匀撒参数更有依据。

图2：左侧展示DiT4SR与TSD-SR各层通道激活的长尾分布，中间比较置零头部、随机和尾部通道后的平均性能变化，右侧给出不同K值下的指标退化。头部曲线下降最快，说明少数高激活通道确实是高杠杆位置；这组干预证明的是模型对这些通道更敏感，并不等于每个通道都对应一个固定、可命名的视觉概念。

三、SPARK全景：冻结大模型，只训练一个“小调音台”

下面这张总览图集中呈现了论文最大的反差：蓝色雪花标出的VAE与DiT主干全部冻结，只有绿色预测器需要训练。低分辨率图像进入既有VAE得到latent，latent一方面继续送进超分骨干，另一方面被全局平均池化后交给小预测器。

图3：SPARK总体思路。左侧LR图经冻结VAE编码；上方预测器读取池化后的latent；下方冻结DiT的多个块在hidden与encoder两条流中接收调制参数；右侧生成HR图。图中的“更好感知质量、即插即用、参数很少”是方法目标与论文实验结论，不代表无需针对具体骨干做通道选择，也不代表采样本身被加速。

预测器输出的不是新图像，也不是一套完整权重，而是每个选中通道各自的一对数字：缩放系数γ与平移系数β。原激活h经过“γ乘h再加β”得到新激活，未选中的通道保持原样，主干权重也完全不变。

可以把它理解成给一套已经调好的大型音响加了一个自动调音台。模型主体仍负责“演奏”，SPARK只根据当前输入判断：这一张图更需要增强哪些关键频段、压住哪些过强响应，而且每次只碰极少数旋钮。

这里“input-conditioned”很重要。如果所有图片共享同一套γ和β，系统只是学到固定风格补偿；SPARK则从当前图像的VAE latent中生成参数，让座椅、叶片、建筑边缘等不同内容获得不同调制。它不是给冻结模型贴一块静态补丁，而是学习一个随输入变化的稀疏控制策略。

四、阶段一：通道不是一次拍脑袋选出，而是“稳定后就停”

完整方法分两个阶段。第一阶段只负责回答“改哪里”：冻结骨干，不计算梯度，让优化数据按小批次前向通过模型，并持续收集每个块、每条流的通道平均绝对激活。

为了减少批次波动，SPARK用指数滑动平均更新重要性分数，EMA系数λ设为0.95。每隔5个更新步保存一次当前Top-K集合，再比较连续窗口里这些集合有多重合。

重合度用Jaccard相似度衡量，也就是交集大小除以并集大小。连续4次窗口转移的平均相似度达到0.9，说明头部排名基本稳定，流程就提前终止；无需为了“统计完整”把整个训练集机械地跑完。

论文报告，TSD-SR通常处理约400张图、约25个batch就能停下，单卡约8分钟；TEASR约300张图、约5分钟。这个阶段只保存逐通道均值，内存开销很小，它的成本更像一次短暂体检，而不是一次模型训练。

最终，每个Transformer块的hidden stream与encoder stream分别保留8个头部通道。注意，这是“每块、每路8个”，不是全网总共8个；通道身份也跟骨干和检查点绑定，换模型后必须重新做第一阶段。

提前停止是这一步最实用的设计：它把“找关键通道”从全量离线分析，改成了一个知道何时信息已经足够的顺序过程。对于要维护多种底座的团队，这种成本是否稳定，比某一次跑得很快更重要。

五、阶段二：同一个latent，同时告诉主干“看什么”和预测器“怎么调”

第二阶段回答“怎么改”。SPARK复用超分流水线里已经计算好的VAE latent，对空间维度做平均池化，把一张高维特征图压成紧凑向量，再送入两层隐藏层、每层宽度256、使用SiLU激活的MLP。

MLP一次性输出所有选中通道的γ和β，因此输出维度等于“全部块、全部流、全部入选通道数量之和”的两倍。每个通道都有独立参数，不是整层共用一对数字；但因为K只有8，总输出仍远小于全通道调制。

论文没有让γ和β任意增长。预测器先输出无约束值，再经过sigmoid和线性缩放，把γ限制在0.5到1.5，把β限制在−0.2到0.2，避免小网络把关键通道推到失控区域。

这层边界不是保守装饰。消融里，取消约束后TOPIQ反而升到70.24，但SSIM从基线71.68跌到38.33，LPIPS也明显恶化；论文观察到整张图被高频编织状纹理覆盖，真实内容被破坏，而部分无参考指标仍会奖励这种“看起来锐”的假细节。

这组失败实验点出了生成式超分最危险的错觉：分数可以因为纹理更强而上升，图像却可能离真实内容更远。SPARK真正可靠的部分，不只是会调通道，而是把可调范围写进机制里，迫使优化留在相对温和的区域。

训练损失由三部分组成：LPIPS约束与目标高分辨率图的感知距离，LIQE鼓励无参考感知质量，总变分正则抑制不自然的局部振荡。论文设置LIQE权重0.1、TV权重0.0001，主干与VAE始终冻结，梯度穿过它们但只更新预测器。

完整方法图把这两阶段画得更清楚：上半部分先形成每层每路的全局重要性排名，下半部分再训练输入条件预测器，并把参数重新插回相应通道。两阶段分开意味着“位置选择”是数据统计问题，“调节幅度”是监督优化问题，彼此不混在一起。

图4：SPARK完整流程。上半部分用无梯度前向、EMA与Top-K选择确定通道；下半部分用冻结VAE的latent训练预测器，输出有界缩放与平移参数，并在每个块的两条流中调制所选通道。右侧损失只监督最终HR输出。该图证明的是流程与参数更新边界，不等同于证明这些通道具有固定、可命名的语义。

六、三种底座串起来看：SPARK补的是“适配层”，不是“生成底座”

理解SPARK，不能把TSD-SR、DiT4SR、TEASR只当成三个表格行名。它们代表了近两年DiT超分的三种推进方向：TSD-SR强调一步扩散与目标分数蒸馏，DiT4SR探索如何驾驭扩散Transformer做真实世界超分，TEASR则把训练效率与任意步推理放到更突出的位置。

这三条路线首先解决的是“底座怎样生成”：如何把大规模生成先验转成超分能力，如何注入低分辨率条件，如何在采样步数、训练代价和视觉质量之间取舍。SPARK没有重新回答这些问题，它接在底座之上，处理另一个共同痛点——已经训练好的模型，怎样用更小的代价继续适应感知目标。

所以它与三者不是替代关系。TSD-SR的一步特性不会因为SPARK消失，DiT4SR的多步成本也不会被SPARK抹掉，TEASR的大参数规模仍然存在；SPARK只提供一个共享思想：先寻找各自模型里的主导通道，再给它们安装输入条件控制器。

把三者横向放在一起，SPARK最大的价值是证明“稀疏激活适配”不是某一个底座的偶然技巧，而可能成为DiT超分之上的通用接口。但这里的“通用”指机制能迁移，不是同一组通道索引可以跨模型复用。

对研究者，这意味着以后比较适配方法时，除了LoRA秩、Adapter宽度，还可以增加一个新维度：参数究竟分布在权重空间，还是集中于少数高杠杆激活。对工程团队，则可以把“底座选型”和“画质偏好适配”拆开，先选满足时延与显存约束的骨干，再判断是否值得增加SPARK式控制器。

七、61/63项改善，究竟强在哪里

实验用DIV2K训练集，借助Real-ESRGAN退化流水线生成合成低清输入，只训练一个epoch，batch size为16，Adam学习率为1×10−4，并按验证表现提前停止。评估覆盖DIV2K-Val、RealSR、DRealSR三套数据，真实数据中的LR图中心裁成128×128，并使用对齐HR区域计算参考指标。

指标分两类。SSIM和LPIPS关注与参考图的结构或感知距离；MANIQA、MUSIQ、CLIP-IQA、TOPIQ、LIQE是不依赖参考图的感知质量指标，它们更接近“图看起来是否自然、清楚”，也更容易受到锐化纹理偏好的影响。

三种骨干乘三套数据再乘七项指标，共63个“模型—数据—指标”组合。SPARK改善其中61项；SSIM在9个模型—数据设置里全部提升，LPIPS在9个设置里提升7个，说明收益不只出现在无参考质量分上。

两个没有改善的LPIPS都发生在RealSR：TSD-SR从27.96变为28.44，TEASR从27.28变为28.61，而LPIPS越低越好。与此同时，这两组的多项无参考指标与SSIM继续上升，表现出典型的感知质量—参考一致性拉扯。

TEASR的变化最显眼，21项里改善20项；论文列出的最大增量包括MANIQA +5.74、MUSIQ +4.63、CLIP-IQA +10.22、TOPIQ +9.84。这里要注意，这些指标的数值尺度不同，不能把“+10.22”直接理解成视觉质量提升了固定百分比。

真正有分量的结论是方向一致性：同一个稀疏适配思想，在三种独立底座、合成验证集与两个真实数据集上，大多数指标都向好。它比单个榜单第一更能说明机制有普适潜力，但仍不是对开放世界照片的无限外推。

训练只看合成退化，RealSR与DRealSR上仍有整体迁移，这是另一处亮点。它说明预测器没有简单记住DIV2K训练纹理，而是学到了一些能跨退化分布工作的调节规律；当然，三套数据仍不足以覆盖手机夜景、社交平台多次压缩、老照片划痕等所有真实场景。

八、不是“参数少就赢”：五组对照拆开了收益来源

为了验证收益究竟来自哪里，论文在DRealSR与TSD-SR上做了受控比较。IA³、Houlsby Adapter、LoReFT、通道局部LoRA都限制在同一批Top-8通道，参数匹配LoRA则作用于前馈投影，训练数据、目标、优化和冻结主干保持一致。

结果先证明了“选对位置”本身就有价值：几种不同机制只要落在主导通道上，几乎都比冻结基线更好。也就是说，SPARK的发现不只服务于自己的仿射调制，它还揭示了一块多种参数高效方法都能利用的适配区域。

但机制仍然影响取舍。SPARK在MUSIQ、CLIP-IQA、TOPIQ与LIQE上最好，LoReFT拿到最佳MANIQA；参数匹配LoRA在SSIM与LPIPS上最好，却在MUSIQ、CLIP-IQA、TOPIQ上低于SPARK。

因此不能把结论压成“SPARK全面打败LoRA”。更准确的说法是：相近预算下，SPARK更偏向多项无参考感知质量，参数匹配LoRA更偏向参考一致性；选哪一个取决于产品更怕模糊，还是更怕生成偏差。

通道选择消融也有类似细节。Top-8在MANIQA、MUSIQ、CLIP-IQA、TOPIQ、LIQE与SSIM上最好，随机选择却拿到略好的LPIPS；扩展到三种骨干后，头部选择几乎总能给出最强无参考质量，但个别指标仍存在例外。

滑动窗口实验进一步说明重要性排名不是悬崖。排名33到40的通道仍有平均通道激活的2.3倍，能改善部分指标，并取得整组扫描中最好的SSIM与LPIPS；越靠前总体越利于无参考感知质量，但并非每项指标严格单调。

K值实验显示，大部分收益在K=8附近已经获得，继续增加通道只带来更小、且依赖指标的增益。这个结果让“8”成为紧凑工作点，而不是神奇常数；换数据、换目标或换骨干后，最佳K仍可能变化。

图5：不同K值下的消融结果。多项感知指标在K从较小值增加到8时获得主要增益，之后曲线趋缓或出现指标间分化，因此K=8代表参数、效果与稳定性的紧凑折中，而不是对所有模型和数据都固定最优的常数。

论文还把LIQE损失替换为MANIQA、MUSIQ或TOPIQ，各自调整权重后重新训练。不同目标依然能把收益转移到未直接优化的感知指标上，说明结果不完全是“训练哪个分数，就只会刷哪个分数”；不过无约束调制的失败也提醒我们，任何无参考指标都不能独自承担真实性裁判。

九、成本账：27.4万参数很小，但大底座仍然是大底座

SPARK预测器有27.4万可训练参数，少于论文参数匹配LoRA的36.1万，也比三个主干小多个数量级。推理时预测器每张图只运行一次，并复用已有VAE latent；通道操作只是少量仿射变换，不改变主干计算图。

但“少参数”不等于“所有成本都小”。TSD-SR第二阶段约需单张NVIDIA L40S训练2.5小时；TEASR约15小时；多步DiT4SR最长可到36小时。TEASR底座有20B参数，论文用FP8保存冻结权重、bf16计算，峰值显存约26GB，仍需要有分量的硬件。

DIV2K推理评估也主要受底座支配：TSD-SR约30分钟，TEASR约1小时，DiT4SR约7小时。SPARK并没有减少采样步数，也没有压缩VAE或DiT，所以它降低的是“适配成本与新增开销”，不是把慢模型变成快模型。

对部署团队，最应该分开的两本账是：新增控制器几乎不重，但原底座的时延、显存和采样成本一项都没有消失。如果产品已经选定某个DiT超分模型，SPARK可能是便宜的增量优化；如果产品连底座都跑不起，SPARK不会解决根本问题。

稳定性方面，论文在TSD-SR与DRealSR上用三个随机种子重复实验，归一化指标后跨配置平均标准差为0.0021，配置相对排序没有改变。这个结果支持训练波动较小，但它只覆盖一个骨干与一个数据集，不能替代更广的复现。

十、局限集中看：四条边界决定它能走多远

第一，SPARK依赖“少数通道显著更强”这一结构。三种DiT超分骨干都观察到了主导通道，但如果另一个架构的激活更均匀，Top-K控制的杠杆就可能明显变弱。

第二，通道地图不能跨骨干直接复制。换架构、换检查点都要重新执行第一阶段；如果团队频繁迭代底座，单次8分钟不贵，累积维护成本与版本管理仍要考虑。

第三，实验范围仍集中在DiT超分与三套数据。卷积网络、U-Net式扩散骨干、去噪、去模糊、压缩伪影修复是否同样成立，目前还是开放问题；手机夜景、文字、面孔等高风险内容也需要专门测试。

第四，感知变好不等于事实恢复。定性图和多数指标支持局部结构更清楚，但真实世界低清输入并没有唯一答案。医疗、取证、遥感测量、证件识别等场景不能只凭“看起来更锐”采用生成式细节，必须增加任务级验证与不确定性提示。

另外，LIQE被用于训练目标，也出现在评估中，存在天然相关性。论文通过替换MANIQA、MUSIQ、TOPIQ做了缓解，并展示跨指标迁移，但最稳妥的结论仍应来自参考指标、多个无参考指标、人工偏好和下游任务共同组成的闭环。

十一、龙哥点评：真正漂亮的是“控制接口”，不只是61/63

龙哥觉得，这篇工作最有价值的地方，是先通过激活分析找到结构，再把结构变成可训练接口。很多参数高效方法从“我有一种模块”出发，SPARK则从“模型哪里最敏感”出发，这个研究顺序更值得借鉴。

它也把大模型适配的一条长期路线说得更清楚：未来未必总是把更多参数塞进模型，而可能是建立更精细的内部控制面。权重负责保存能力，少数激活通道负责暴露旋钮，小网络根据任务和输入决定怎么转。

对小团队，这比“再训一个更大的超分模型”现实得多。前提是团队已经拥有可用底座、足够显存和清晰评价目标；如果连什么叫“更好画质”都没有产品定义，小参数适配只会更快地优化一个模糊目标。

工程落地最重要的不是复制论文里的K=8，而是建立自己的验证闭环：哪些内容允许增强、哪些细节绝不能编造、感知收益是否真的改善用户任务、底座成本是否能被业务承受。榜单给方向，系统边界才决定能不能上线。

论文的实验控制做得比较扎实：同一子空间比较多种适配器，同一预算比较LoRA，替换感知目标，滑动通道排名，展示无约束调制的失败，还报告三随机种子稳定性。这些设计让“为什么有效”的解释比只报主表更可信。

还可以继续追问的，是跨检查点的通道重合度、真实用户偏好、不同退化类型下的失败案例，以及预测器是否能同时支持多种画质目标。若能把“锐利、忠实、自然、保守”变成可切换控制，而不是每个目标重新训练一次，SPARK的产品价值会更大。

十二、龙迷三问

第一问：27.4万参数，是否意味着普通显卡也能训练？
不一定。可训练参数很少，但前向与反向仍要穿过冻结的大型VAE和DiT；冻结减少梯度与优化器状态，不会让20B底座凭空变小。论文在单张48GB L40S上完成实验，具体显卡是否可用仍取决于底座、精度、分辨率与累积策略。

第二问：每层每路只动8个通道，会不会过于脆弱？
论文显示K=8已拿到大部分收益，且三随机种子趋势稳定；同时，主导通道被置零会快速破坏画质，说明它们确实高杠杆。高杠杆既是效率来源也是风险来源，因此有界γ、β和逐骨干选择不可省略。

第三问：这会替代LoRA吗？
不会。论文自己的结果就显示参数匹配LoRA在SSIM与LPIPS上更强，SPARK则在多项无参考感知指标上占优。更合理的未来是按目标组合工具：需要权重层面的任务迁移用LoRA，需要对冻结底座做轻量、输入相关的感知调节时考虑SPARK式激活控制。

总结

SPARK做了一件看似很小、实际很有启发的事：它先找到DiT超分里少数能量高度集中的主导通道，再用输入条件预测器对这些通道做有界缩放与平移。骨干和VAE不更新，新增训练参数只有27.4万，却在63个模型—数据—指标组合中改善61个。

从TSD-SR的一步路线、DiT4SR的多步路线到TEASR的超大底座，实验共同指向同一个可能性：大模型能力不一定只能通过权重更新来适配，激活空间里也可能藏着稀疏、稳定、低成本的控制面。

但这不是“免费画质”。底座推理成本仍在，关键通道需要随检查点重新识别，感知指标也不能代替真实性验证。对真正想落地的团队，SPARK最值得带走的不是一个漂亮数字，而是一种方法论：先找到系统中真正高杠杆的变量，再用最小改动建立可控、可测、可回退的增强路径。