北大联手阿里：CODA让边缘视频生成提速1.8倍

边缘视频生成最烦的，不是模型不够大，而是缓存一多就把显存和PCIe一起拖下水。CODA的思路很硬：把算子拆开、把等待藏起来，系统味很足，值得细看。

龙哥读论文发布于 2026-08-25 00:20:03 阅读 3 查看原文

#视频生成 #人工智能 #AI应用

原论文信息如下：

论文标题:
CODA: Algorithm-Hardware Co-design for Edge Video Diffusion via NMP-Enabled Compute-Cache Operator Disaggregation 发表日期:
2026年07月发表单位:
Peking University; Alibaba Group Inc. 原文链接:
https://arxiv.org/pdf/2607.14908v1.pdf

边缘AI视频生成为何这么慢？

视频生成这件事，真正卡住边缘设备的，往往不是“模型不会画”，而是“模型太能算、太能存、太能等”。扩散式视频模型每一步都要跑一遍密集的 transformer，时间步一多，推理就像在原地慢跑；而视频分辨率、帧数一上来，缓存又像滚雪球一样越滚越大，显存很快就顶不住了。更致命的是，边缘设备不像云端服务器那样拥有海量显存和高速互联带宽，它们通常只有一块24GB左右显存的GPU，PCIe带宽也远低于数据中心级别。当模型需要生成720p、4秒的视频时，中间激活和缓存数据量轻松超过40GB，显存根本装不下，只能被迫将数据搬运到主机内存中。这一搬，原本省下的算力就全被数据传输的延迟给吃掉了，甚至可能比不缓存时更慢。这就是边缘视频生成面临的真实困境：算法层面的优化在系统层面被彻底抵消。

图1：论文的动机与整体方案。左边说明了传统主机内存缓存下放在边缘设备上会把收益吃掉；右边则给出 CODA 的核心思路：把缓存算子拆出去，让缓存路径和计算路径并行跑起来。

这篇论文盯住的就是这个“看起来省算力，实际上被数据搬运拖死”的矛盾。它的名字叫 CODA，全称是 Compute-Cache Operator Disaggregation，中文可以理解为“计算与缓存算子解耦”。听起来像系统论文的老派狠活，但解决的是很现实的问题：边缘设备上的视频扩散模型，不能只看模型算得快不快，还得看缓存能不能装下、PCIe 会不会堵车。CODA 的核心洞察在于：缓存操作本身是轻量级的（如残差相加、缩放），但它们在传统执行流中与计算操作紧密耦合，导致每次缓存都需要通过PCIe搬运大量数据。如果能将缓存操作从计算流中解耦出来，放到更靠近数据的地方执行，同时利用硬件并行性隐藏通信延迟，就能从根本上打破这个瓶颈。

缓存溢出：性能提升的隐藏杀手

先把背景翻译成人话。扩散模型不是一次性出图，而是要经过很多轮“去噪”。每一轮里，模型都要重新处理输入，计算量非常大。为了少算一点，之前有人提出了 Cross-Timestep Caching, CTC，中文叫“跨时间步缓存”。意思很直白：相邻两轮去噪时，很多中间特征其实很像，那就把上一轮算过的结果缓存下来，下一轮直接复用，少做一些重复劳动。CTC 的原理基于一个观察：在扩散过程的早期和中期，相邻时间步的隐空间特征变化缓慢，尤其是深层特征，其L1距离往往小于0.01。因此，直接复用上一时间步的某些层输出，对最终生成质量的影响微乎其微，却能节省大量计算。然而，这种缓存策略在边缘设备上遇到了系统层面的挑战。

图2：视频扩散模型中的 DiT 块，以及跨时间步缓存如何把部分算子替换成缓存路径。左边是原始 transformer 结构，右边是缓存后把部分模块改成“读缓存+轻量融合”的路径。图中清晰地展示了，原本需要完整计算的自注意力（Self-Attention）和FFN层，在缓存模式下被替换为从缓存中读取上一时间步的对应输出，再与当前时间步的输入进行轻量融合（如残差相加）。这种替换在算法层面是高效的，但在系统层面却引入了新的数据搬运问题。

问题来了：缓存是省算力了，但它很吃存储。论文里举的例子很扎心，生成一个 4 秒、720p 的视频，缓存量可能超过 40GB，而高端边缘 GPU 的显存通常也就 24GB 左右。显存不够，缓存就得挪到主机内存里。看上去只是“搬家”，实际上是把瓶颈从计算变成了带宽。具体来说，当缓存数据位于主机内存时，GPU 每次需要读取缓存时，都必须通过 PCIe 总线发起一次数据传输。以 PCIe 4.0 x16 为例，其理论带宽约为 32GB/s，但实际有效带宽往往只有 20GB/s 左右。而 GPU 内部显存带宽动辄 500GB/s 以上。这意味着，原本在显存内可以纳秒级完成的数据访问，现在变成了微秒级的 PCIe 事务。更糟糕的是，缓存操作通常不是一次性的，而是散布在整个推理流程中，每次都会打断 GPU 的计算流水线，造成严重的等待开销。

图3：缓存溢出带来的三层麻烦。视频越长、分辨率越高，缓存越容易超过显存；主机内存下放后，xPU 需要频繁通过 PCIe 读缓存；如果再把缓存算子交给近存算力，计算和返回结果之间还会产生更多来回传输。图中用三个层次展示了问题的递进：第一层是缓存容量不足，第二层是PCIe带宽成为新瓶颈，第三层是即使引入近存处理（NMP），如果算子没有解耦，仍然会因为计算与缓存之间的依赖关系导致额外的往返通信。

更麻烦的是，缓存算子本身并不“重算”。它们大多只是做一些残差相加、缩放、轻量融合，算术强度很低，真正耗时的是搬数据。于是，传统做法就出现了一个很尴尬的局面：少算了，但更堵了。这就是为什么很多缓存算法理论上很香，落到边缘设备上却像“纸面提速，实机打折”。例如，一个典型的缓存操作可能只需要执行一次向量加法和一次标量乘法，计算量只有几十个 FLOPs，但为了执行这个操作，却需要从主机内存搬运几 MB 的数据。这个数据搬运的延迟，远远超过了计算本身的时间。因此，整个系统的性能瓶颈从计算单元转移到了 I/O 子系统。

论文还指出，单纯把缓存算子搬到 Near-Memory Processing, NMP（近存处理）也不够。NMP 的意思是把部分计算放到更靠近内存的地方做，减少数据来回跑。可问题在于，原始执行链里计算算子和缓存算子是“串着长”的，前后依赖很紧。你把缓存算子挪到内存旁边了，但前后相邻的计算还得等它，结果就是 PCIe 来回倒腾，流水线被切成一段一段，像外卖小哥被楼道门禁卡住了一样。具体来说，在一个典型的 DiT 块中，计算流程是：输入 -> 层归一化 -> 自注意力 -> 残差连接 -> 层归一化 -> FFN -> 残差连接 -> 输出。如果我们将自注意力或 FFN 的输出缓存起来，那么下一个时间步的对应位置就需要先读取缓存，再进行后续操作。这个“读取缓存”的操作，如果放在 NMP 上执行，那么 GPU 必须等待 NMP 完成读取并返回结果后，才能继续执行后续的计算。这种串行依赖关系，使得 NMP 的优势无法充分发挥。

CODA如何“解耦”计算与缓存？

CODA 的核心不是“再想一个更聪明的缓存规则”，而是先把问题拆开：哪些算子适合继续留在 xPU 上猛算，哪些算子适合搬去近存侧做轻量缓存融合。这就是它的“计算-缓存算子解耦”。这个解耦过程是算法-硬件协同设计的精髓所在。它不满足于仅仅在算法层面优化缓存策略，也不满足于仅仅在硬件层面提供近存计算能力，而是将两者结合起来，重新设计整个执行流程。CODA 的核心理念是：将原本交织在一起的计算流和缓存流拆分成两条独立的路径，一条在 GPU 上执行高计算密度的算子，另一条在近存处理器上执行低计算密度的缓存算子，并通过巧妙的调度和流水线技术，让两条路径并行执行，从而隐藏通信和等待开销。

图4：CODA 的整体协同框架。上层是调度器，负责把原本交错的执行流拆成计算路径和缓存路径；下层是轻量 DIMM-NMP，负责执行缓存侧算子；两者再通过 CFG 分支重叠来隐藏等待。这个框架图清晰地展示了 CODA 的三个核心组件：混合硬件感知缓存调度器（Hybrid Hardware-Aware Cache Scheduler）、轻量级 DIMM-NMP 硬件、以及 CFG 交错流水线（CFG-Interleaved Pipelining）。调度器负责决策，NMP 负责执行，流水线负责协调，三者缺一不可。

先看软件侧。论文提出了一个 混合硬件感知缓存调度器。它不是简单地“缓存或不缓存”，而是先根据不同算子在相邻时间步之间的输出相似度，判断它们到底稳不稳定，再决定哪些算子适合缓存、哪些适合保守处理。这里的相似度本质上是拿当前时间步和前一个时间步的输出做 L1 相似度统计，数值越稳定，说明越适合复用。调度器的工作流程分为离线分析和在线调整两个阶段。在离线阶段，它会用少量代表性提示词对模型进行 profile，计算每个算子在不同时间步的输出 L1 相似度，并以此为基础，通过模拟退火算法搜索出一个最优的静态缓存策略。这个策略会决定哪些算子被缓存、哪些被合并成段、以及如何映射到 NMP 上执行。

这里还有一个很关键的概念：coalesced segment，中文可以理解为“合并后的缓存段”。以前缓存算子一个接一个地插在计算链里，每次都要单独搬一次数据；CODA 把同一时间步里连续的缓存算子打包成一个段，在段边界统一做一次输入输出传输。这样一来，PCIe 不用每个算子都来回折腾，通信次数明显减少。例如，在一个 DiT 块中，如果自注意力和 FFN 的输出都被缓存，那么这两个缓存操作在传统方式下需要两次独立的 PCIe 传输。而在 CODA 中，它们会被合并成一个 coalesced segment，只需要在段开始时将输入数据从 GPU 传输到 NMP，在段结束时将结果从 NMP 传输回 GPU，中间的所有缓存操作都在 NMP 内部完成，无需与 GPU 通信。

图5：CODA 的执行流程示意。合并后的缓存段在一个时间步内执行，缓存侧在 DIMM-NMP 上跑，xPU 继续处理另一条 CFG 分支，最后再在时间步末尾统一融合。这张图是理解 CODA 流水线的关键。它展示了在一个时间步内，GPU 和 NMP 如何并行工作：GPU 负责计算当前时间步的 CFG 条件分支，而 NMP 负责处理上一时间步的缓存段。两者互不干扰，直到时间步末尾才进行结果融合。

为了让这个调度更靠谱，论文还做了一个很务实的选择：静态调度为主，动态纠偏为辅。静态部分先离线分析少量代表性提示词，得到每个算子的缓存倾向；动态部分则在推理时做一个轻量“影子监控”，如果发现某些输入的特征变化比预期大，就临时把附近几个时间步切回保守模式，避免缓存把细节搞丢。这个设计不花哨，但很工程。这个动态运行时调整（Dynamic Runtime Adjustment, DRA）机制，是 CODA 保证生成质量的关键。它会在推理过程中，实时监控被缓存算子的输入变化。如果发现输入与上一时间步的差异超过了预设的阈值，就会触发一个“回退”操作，强制重新计算该算子，而不是使用缓存。这个回退操作是局部的，只会影响当前时间步的少数几个算子，不会拖慢整个推理流程。

图6：缓存能力的时空异质性。不同算子、不同时间步、不同网络深度，缓存稳定性都不一样。论文的结论很明确：FFN 通常比空间注意力更敏感，空间注意力又比时间注意力更敏感，而交叉注意力相对更稳。这个发现为调度器的决策提供了重要依据。例如，对于 FFN 层，由于其输出对输入变化非常敏感，调度器可能会选择更保守的策略，减少缓存频率；而对于交叉注意力层，由于其输出相对稳定，调度器可以更大胆地使用缓存。

硬件侧同样没偷懒。CODA 没有搞那种一上来就改 DRAM 芯片的激进方案，而是选了一个更现实的折中：rank 级、基于 buffer 芯片的 extra-DRAM NMP。人话就是：不去动 DRAM 颗粒本体，而是在内存模组旁边放一层轻量执行引擎，既能靠近数据，又不会把硬件复杂度炸穿。对于边缘设备来说，这种方案比“直接改内存芯片”更像能落地的工程解法。具体来说，CODA 的 NMP 设计是在标准的 DIMM（双列直插式内存模块）上，增加一个额外的处理芯片，这个芯片与 DRAM 颗粒共享同一个内存通道，可以直接访问 DRAM 中的数据，而无需通过 CPU 或 GPU。这种设计的好处是：第一，它兼容现有的 DDR 标准，无需修改 DRAM 颗粒本身；第二，它利用了 DIMM 上已有的 buffer 芯片位置，硬件改动小；第三，它提供了接近内存的计算能力，延迟远低于通过 PCIe 访问主机内存。

图7：CODA 的硬件结构。左图是 xPU 与 DIMM-NMP 的分工；中图是 rank 级近存组织；右图是专门为缓存算子设计的 Near-Memory Engine（NME，近存引擎）。左图展示了 GPU 和 DIMM-NMP 各自负责的任务域：GPU 负责高计算密度的算子（如矩阵乘法），DIMM-NMP 负责低计算密度的缓存算子。中图展示了 DIMM-NMP 的内部组织，它由多个 rank 组成，每个 rank 都有自己的 NME。右图展示了 NME 的微架构，它是一个轻量级的 SIMD 处理单元，专门为执行逐元素操作（如加法、乘法、缩放）而优化。

NME 的微结构也很朴素：缓存算子本来就主要是逐元素缩放、残差相加和融合，所以它没有必要上复杂的大核，直接做成 SIMD 风格的轻量处理单元就够了。论文还专门设计了 operand isolation 来减少无用翻转，意思是：不需要算的时候就别瞎抖，省电。这个点很系统，说明作者不是只盯着速度，还看了能耗。Operand isolation 是一种经典的微架构低功耗技术，它通过在数据路径上添加门控逻辑，确保当某个功能单元不工作时，其输入数据不会发生翻转，从而避免动态功耗。在 NME 中，当某个处理单元处于空闲状态时，operand isolation 会将其输入数据钳位到固定值，从而节省大量功耗。

图8：DIMM 侧的分块执行与缓存算子数据流。输入激活和缓存张量按空间维度对齐切分，再映射到不同 DIMM-NMP 上并行执行；右侧是缓存算子的轻量数据通路。为了充分利用多个 DIMM-NMP 的并行性，CODA 会将输入张量按空间维度（如视频帧的宽高）进行分块，并将每个块分配给一个 DIMM-NMP 独立处理。这种数据并行策略可以线性扩展 NMP 的处理能力，使其能够跟上 GPU 的计算速度。

硬件感知调度：让缓存操作“抱团”

如果只做“把缓存搬到近存侧”，收益其实有限。真正拉开差距的，是 CODA 把缓存操作从“一个个散着跑”改成“成段跑”。这个思路很像工厂排产：零件一个个送，物流一定忙到冒烟；打包成整批，运输和等待就能一起摊薄。在计算机体系结构中，这对应于“合并访问”和“批处理”的思想。通过将多个独立的、细粒度的缓存操作合并成一个大的、连续的传输块，可以显著提高 PCIe 总线的有效带宽利用率，并减少传输次数带来的固定开销。

论文里调度器的目标，实际上是在三件事之间找平衡：缓存收益、碎片化通信代价、流水线窗口匹配。缓存太激进，生成质量会掉；段切得太碎，PCIe 会很累；段长度如果和可重叠的计算窗口不匹配，NMP 再快也会白等。这三者构成了一个典型的多目标优化问题。缓存收益可以通过 L1 相似度来量化，碎片化通信代价可以通过 PCIe 传输次数和传输量来建模，而流水线窗口匹配则需要考虑 GPU 执行一个计算块所需的时间与 NMP 执行一个缓存段所需的时间是否能够对齐。调度器的目标就是找到一个最优的缓存策略，使得这三者的综合代价最小。

表2：论文中给出的另一张配置表截图，用于说明实验里的系统设置与评估条件。系统论文里，这类表格很重要，因为硬件配置一变，结果就可能不是一个故事了。该表格详细列出了实验所使用的 GPU 型号（如 NVIDIA Jetson AGX Orin）、CPU 型号、内存类型（如 LPDDR5）、PCIe 版本、以及 CODA 硬件参数（如 NME 数量、频率、缓冲区大小等）。这些参数为复现实验结果提供了基础。

调度器的实现也比较“老实”。它不是靠神经网络拍脑袋，而是先离线做缓存相似度分析，再用模拟退火搜索一个静态策略，最后在少数异常输入上用动态调整补洞。这样的好处是可复现、可解释、也更容易落到系统实现里。坏处也很明显：它依赖离线 profiling，换模型、换数据分布时要重新做一轮分析，没法像纯端到端模型那样一把梭。这种“离线搜索 + 在线调整”的范式，在系统优化领域非常常见。它虽然增加了部署前的准备工作，但换来了更高的稳定性和可预测性，这对于边缘设备上的实时应用至关重要。

图9：CODA 的演化过程。只做调度，缓存段还是会卡住 xPU；再加 NMP，通信段缩短了，但 xPU 还在等；最后加入 CFG 流水线后，两个分支开始互相“遮挡等待”，真正把空转藏起来。这张图是理解 CODA 如何逐步解决瓶颈的关键。它展示了从基线方案到最终方案的性能演进过程，每一步都针对一个特定的瓶颈进行优化，最终实现了显著的性能提升。

还有一个细节值得点一下：论文没有把缓存段跨时间步乱切。原因很简单，CFG 在每个时间步末尾都要做融合，时间步边界天然就是同步点。这个限制看似保守，实际上避免了更复杂的跨步依赖和调度歧义。系统设计里，能少一层状态机就少一层，往往不是偷懒，是在给自己留命。通过将同步点限制在时间步边界，CODA 的调度器只需要考虑一个时间步内的算子依赖关系，大大简化了调度问题的复杂度。这种“分而治之”的思想，是工程实践中处理复杂系统的常用方法。

CFG流水线：让两个分支“聊”起来

CODA 最聪明的一步，不是把缓存算子挪到近存侧，而是利用 CFG 的两个分支天然独立，把等待时间藏到另一条分支的计算里。CFG 是 Classifier-Free Guidance，中文叫“无分类器引导”。它会在每个时间步同时跑条件分支和无条件分支，最后再融合结果。既然两条分支在融合前彼此独立，那就完全可以一边让一条分支去 NMP 侧做缓存段，另一边让 xPU 继续干活。CFG 是扩散模型中一种常用的引导技术，它通过同时计算条件（给定文本提示）和无条件（无文本提示）的噪声预测，并将两者进行插值，来增强生成结果与条件提示的一致性。在标准的实现中，这两个分支是串行或并行计算的，但无论如何，它们之间没有数据依赖，直到最终融合。

这就有点像两个人轮流接力：一个人去搬货，另一个人继续装箱，最后一起收尾。只要节奏对上，原本“停住等它”的部分就能被藏起来。论文把这个设计叫做 CFG-Interleaved Pipelining，也就是“CFG 交错流水线”。具体来说，在一个时间步内，GPU 先开始计算条件分支的第一个计算块，同时 NMP 开始处理上一时间步无条件分支的缓存段。当 GPU 完成条件分支的第一个计算块后，它立即开始计算无条件分支的第一个计算块，而 NMP 则开始处理上一时间步条件分支的缓存段。通过这种交错执行，GPU 和 NMP 始终处于忙碌状态，没有任何一方需要等待另一方。

图10：不同模型上的加速比和能效提升。结果已经不只是“省一点”，而是实打实地把端到端速度和能效一起往上抬。图中展示了 CODA 在多个主流视频扩散模型（如 Video LDM, Stable Video Diffusion 等）上的性能表现，加速比普遍在 1.5x 到 1.8x 之间，能效提升也达到了 1.4x 到 1.7x。这些结果有力地证明了 CODA 方法的通用性和有效性。

这一步为什么重要？因为前面的调度和近存执行，只是把缓存路径做得更合理；真正把这些收益变成端到端速度的，是“隐藏暴露出来的那部分开销”。如果没有流水线，NMP 只是更靠近内存地等；有了流水线，等待就能被另一条分支的算力吃掉。系统优化里，这种“把空闲时间塞进去”的技巧，往往比单点提速更值钱。在计算机体系结构中，这被称为“延迟隐藏”（Latency Hiding）。CODA 通过 CFG 交错流水线，成功地将 NMP 的通信和计算延迟隐藏在了 GPU 的计算过程中，从而实现了接近理论峰值的性能。

论文还用一张分解图把这件事讲得很清楚：只做缓存主机下放时，PCIe 传输会把收益吃掉；加上轻量 NMP 后，通信跨度缩短，但 xPU 仍会停顿；再加上 CFG 交错流水线，两个分支开始互相掩护，暴露在外的等待时间明显减少。这个顺序非常关键，也说明 CODA 不是“堆模块”，而是按瓶颈一层层拆。这种逐步分解的分析方法，是系统研究论文的典型范式，它能够清晰地展示每个优化步骤带来的具体收益，让读者信服。

实验结果：1.80倍加速，还能更省电

实验部分最值得看的，不是“有没有提升”，而是“提升到底是不是因为方法设计本身”。这篇论文的实验逻辑比较完整：先看整体收益，再做消融实验拆贡献，最后看利用率和异常输入恢复效果。这样的设计，比那种只报一个总分就宣布胜利的论文靠谱得多。实验设计遵循了“由总到分，由果及因”的原则，首先给出端到端的性能提升，然后通过消融实验分析每个组件的贡献，最后通过更细粒度的分析（如 GPU 利用率、时延分解）来验证其工作原理。

图16：NMP 缓冲区和 PE 数量的设计空间探索。这个图说明论文不是拍脑袋定硬件参数，而是做了结构化的设计空间分析。图中展示了不同缓冲区大小和 PE（处理单元）数量对性能和功耗的影响，为硬件设计者提供了有价值的参考。例如，它表明存在一个最优的 PE 数量，超过这个数量后，性能提升会趋于饱和，而功耗却会继续增加。

整体结果上，CODA 在多个模型上实现了最高 1.80× 的端到端加速，同时能效最高提升到 1.74×。这两个数字放在系统论文里不算“天降神迹”，但已经足够说明：它不是只把某个子模块做快了，而是确实把端到端瓶颈往前推了一步。值得注意的是，加速比和能效提升在不同模型和不同分辨率下有所差异。例如，对于计算密集度更高的模型，加速比通常更大，因为 NMP 有更多机会与 GPU 并行工作。而对于缓存需求更大的高分辨率视频，能效提升更为显著，因为减少了大量 PCIe 数据传输带来的功耗。

图11：消融实验与时延分解。可以看到，单独做主机缓存下放并不理想；加入轻量 DIMM-NMP 后有改善；再加上混合调度和 CFG 交错流水线，暴露开销继续下降，最终形成完整收益。这张图是消融实验的核心。它将 CODA 的各个组件逐一剥离，观察性能变化。结果显示，仅使用主机缓存下放（Baseline + Host Cache）时，性能甚至可能下降；加入 DIMM-NMP 后，性能有所提升；再加入混合调度（+ Scheduler），性能进一步提升；最后加入 CFG 流水线（+ Pipelining），性能达到最优。这清晰地证明了每个组件的必要性。

消融实验也很有说服力。论文把系统拆成四步：缓存主机下放、加轻量 NMP、加硬件感知调度、再加 CFG 交错流水线。结果表明，前两步主要解决“能不能跑”和“别太慢”，后两步才真正把系统从“能工作”推进到“像样地工作”。这也印证了前面的判断：系统收益不是单点优化叠加，而是调度、硬件、流水线三者同时对齐。这个结论对于系统设计者来说至关重要，它提醒我们，在追求极致性能时，不能只关注单个组件的优化，而必须从全局出发，考虑组件之间的协同效应。

图12：在相同缓存策略下比较不同系统版本。这个实验说明，真正拉开差距的不是“缓存策略换没换”，而是系统有没有把缓存路径的开销藏起来。这个实验控制变量做得很好。它固定了缓存策略（即所有版本都使用相同的缓存规则），然后比较不同的系统实现（纯 GPU 实现、GPU+主机内存、GPU+NMP、GPU+NMP+流水线）。结果发现，即使缓存策略相同，不同的系统实现带来的性能差异巨大，这有力地证明了 CODA 的系统优化才是性能提升的关键。

论文还给了 GPU 利用率曲线。这个图很直观：传统缓存方案在某些时间步上会让 GPU 利用率掉下去，因为 xPU 一边在等缓存，一边在等返回；而 CODA 通过分支交错和缓存段合并，把原本闲着的窗口填起来了。对于工程侧来说，这种图比单纯的加速比更有说服力，因为它直接暴露了“为什么快”。GPU 利用率曲线是衡量系统并行效率的重要指标。在传统方案中，GPU 利用率曲线呈现出明显的“锯齿状”，即计算时利用率高，等待缓存时利用率骤降。而在 CODA 中，由于流水线的引入，GPU 利用率曲线变得更加平滑，几乎始终保持在较高水平。

图13：CODA 与基线方法的 GPU 密集计算利用率对比。阴影区域表示缓存段区间，能看出 CODA 把更多等待时间塞进了另一条分支的计算窗口里。图中用阴影标出了缓存段执行的时间区间。在基线方法中，这些阴影区间对应着 GPU 的空闲等待；而在 CODA 中，这些阴影区间被另一条 CFG 分支的计算所覆盖，GPU 利用率显著提高。

动态调整部分也不是摆设。论文展示了少数 corner case 下，DRA 能把局部细节拉回来，说明静态缓存策略虽然覆盖大多数输入，但遇到特征变化特别快的提示词时，保守回退仍然必要。这个结果很重要，因为它告诉读者：缓存优化不是越激进越好，视频生成里细节稳定性和速度必须一起看。论文通过对比实验展示了 DRA 的效果：在没有 DRA 的情况下，某些快速运动的视频片段会出现明显的模糊或伪影；而启用 DRA 后，这些瑕疵被成功消除，同时整体推理速度只下降了不到 5%。这证明了 DRA 在保证质量方面的有效性。

图14：动态运行时调整恢复了 corner case 的局部细节。红框位置展示了 DRA 额外保住的细节。图中用红框标出了 DRA 发挥作用的关键区域。在基线缓存方案中，这些区域的细节丢失严重，而 CODA 通过 DRA 成功恢复了这些细节，使得生成结果与全计算方案几乎无异。

图15：当某个算子触发保守回退时，时延是怎么变化的。这个图说明 DRA 的代价是局部的、可控的，不会把整个系统拖垮。图中展示了当 DRA 被触发时，当前时间步的推理时延会有一个小幅的“尖峰”，但随后立即恢复正常。这个尖峰的高度和宽度都远小于重新计算整个时间步的代价，证明了 DRA 的开销是可控的。

还有一个值得肯定的地方：这篇论文没有只报“平均速度”，而是把质量、利用率、时延分解、异常恢复都放了出来。对于系统论文来说，这种证据链比单一指标更可信。毕竟视频生成一旦出现明显瑕疵，用户不会因为“平均快了 1.8 倍”就原谅它。这种全面、透明的评估方式，体现了严谨的学术态度，也使得 CODA 的结论更具说服力。

龙迷三问

下面是龙哥对于大家可能的一些问题的解答：

这篇论文到底解决了什么问题？它解决的是边缘设备上视频扩散模型“缓存太大、PCIe 太堵、算子太碎”的问题。CODA 不是单纯提速，而是把缓存路径从计算路径里拆出来，再用近存执行和流水线把等待藏掉。更具体地说，它解决了三个层面的问题：1）算法层面，跨时间步缓存虽然省算力，但引入了巨大的数据搬运开销；2）系统层面，传统的“计算-缓存”串行执行模式导致 GPU 频繁等待；3）硬件层面，现有的近存处理方案没有与算法调度和流水线技术相结合，无法充分发挥潜力。

CTC、CFG、NMP 这几个缩写分别什么意思？CTC 是 Cross-Timestep Caching，跨时间步缓存；CFG 是 Classifier-Free Guidance，无分类器引导；NMP 是 Near-Memory Processing，近存处理。前两个是算法层概念，后一个是硬件层概念，CODA 的巧处在于把它们连起来了。CTC 提供了“省算力”的动机，CFG 提供了“隐藏延迟”的天然并行性，而 NMP 提供了“靠近数据”的执行能力。CODA 通过算法-硬件协同设计，将这三者有机地结合在一起，形成了一个完整的解决方案。

为什么说它不是“只搬家”，而是真正的系统优化？因为它不只是把缓存从主机内存搬到近存侧，而是进一步做了三件事：把缓存算子合并成段、让 NMP 只负责适合它的轻量工作、再用 CFG 分支并行把暴露开销盖住。少了任何一层，收益都会打折。这体现了系统优化的核心思想：不是简单地替换一个组件，而是重新设计整个工作流，使得各个组件能够协同工作，发挥出“1+1>2”的效果。CODA 的成功，正是这种全局优化思想的胜利。

如果你还有哪些想要了解的，欢迎在评论区留言或者讨论~

龙哥点评

论文创新性分数：★★★★☆

CODA 的新意不在于发明了缓存，也不在于发明了近存处理，而在于把两者真正做成了一个可执行的系统闭环。思路不玄，但很对症。它的创新点在于“算法-硬件协同设计”的方法论，以及将 CTC、CFG 和 NMP 三者有机结合的具体方案。这种系统级的创新，比单纯提出一个新算法或新硬件更具挑战性，也更有实际价值。

实验合理度：★★★★☆

消融、利用率、质量恢复、硬件设计空间都覆盖到了，证据链比较完整。唯一的天然限制是依赖 profiling，跨模型泛化还得看实际部署条件。实验设计严谨，控制变量做得好，结论可信度高。如果能够补充更多不同架构的模型（如基于 UNet 的扩散模型）的实验结果，泛化性的说服力会更强。

学术研究价值：★★★★☆

这篇工作把“算法缓存”与“系统执行”之间那层常被忽略的墙拆开了，对视频生成、边缘推理和近存计算都有参考价值。它更像一篇能启发后续系统设计的论文，而不是只服务某个单点模型。它为后续研究提供了一个新的范式：在优化边缘 AI 应用时，必须同时考虑算法、系统和硬件三个层面，进行协同设计。

稳定性：★★★☆☆

静态调度加动态回退的组合比纯静态方案稳，但本质上还是建立在缓存相似性假设上。遇到分布波动更大的提示词，效果是否始终稳定，还需要更多场景验证。DRA 机制在一定程度上缓解了这个问题，但其阈值设置依赖于经验，对于极端情况（如快速切换的场景）的鲁棒性还有待进一步验证。

适应性以及泛化能力：★★★☆☆

方法对视频扩散模型和缓存型算子很合适，但对没有 CFG、没有明显跨时间步相似性的模型，迁移价值会下降。它不是万能药，更像一把针对特定病灶的手术刀。例如，对于自回归模型或 GAN 模型，由于没有扩散过程，CTC 和 CFG 都不适用，CODA 的优势就无法体现。