← 返回 PaperDaily 大模型与智能体

港城大×英伟达：把扩散时间步写进SSM递归算子，只训6.3M参数

条件化这件事，主流做法要么把上下文塞进输入，要么用AdaLN去调激活，本质都是在外围打补丁。香港城市大学和英伟达AI技术中心这篇，直接把扩散时间步映射成SSM递归参数A、B、C、D、Δ的有界偏移，冻结111M骨干只训6.3到11M适配器，Chebyshev核平均验证损失压到2.55，还附送一份解析稳定性证书。能把"为什么稳"讲清楚的参数高效微调，不太多见，值

龙哥读论文发布于 2026-10-17 01:09:39 阅读 11 查看原文

#模型架构 #大语言模型 #模型训练 #NLP

原论文信息如下：

论文标题:
MaRK: Markov-adapted Recurrent Kernels for Dynamic Operator Conditioning in State Space Models 发表日期:
2026年10月发表单位:
香港城市大学数据科学系、英伟达AI技术中心原文链接:
https://arxiv.org/pdf/2610.09092v2.pdf

把一个条件信号塞进神经网络，法子其实就那么几招。可"塞在哪里"这件事，最近被香港城市大学和英伟达 AI 技术中心的一篇论文掰开揉碎讲了一回：与其在外围调激活、拼输入，不如直接改动力学方程里的那几个矩阵。🤨

SSM条件化的困境：为什么输入注入和AdaLN不够？

状态空间模型（State Space Model，SSM）这两年在长序列建模里的存在感越来越强。它用一组递归的连续时间方程处理序列，计算量和显存随序列长度近似线性增长，比注意力机制便宜不少，Mamba、Hydra 都属于这一族。但它有一个不太好绕的麻烦：如果任务本身要求"按条件生成"，比如在离散扩散语言模型里，必须让模型知道当前是第几步去噪、噪声有多重，这个条件该怎么塞进去？

目前主流做法无非两条路。第一条叫输入流注入（Input-Stream Injection），把条件向量直接拼接到输入序列上；第二条叫自适应层归一化（Adaptive Layer Normalization，AdaLN），用它去动态缩放每一层的激活值。

这两条路有一个共同点：它们都是在"算之前"或者"算之后"动输入和激活，却没有动动力学本身。对连续时间 SSM 来说，这意味着递归矩阵 A、读入矩阵 B、读出矩阵 C、跳连 D 以及离散化步长 Δ 全都还是原来的值，跟时间步没有任何关系。论文把这层区别说得很直接：输入流注入依赖隐状态把上下文一路搬运到整条序列上，连续时间 SSM 靠隐状态承载上下文，容易把提示信号稀释掉，还可能引入时间滞后；AdaLN 在 Transformer 上好用，可它作用在连续时间算子的外部，缩放的是层的输入输出，并没有把 A、B、C、Δ 参数化成时间步的函数。

再往深一层看，两种做法其实都没有真正碰到一个 SSM 的"身份证"。这张身份证叫马尔可夫参数序列（Markov Parameter Sequence），它把系统在任意时移下的输入输出响应完整地列了出来：

公式中 H(ct) 表示以条件向量为索引的整条马尔可夫参数序列，hk 是第 k 个马尔可夫参数，k 是时移索引（shift index），C′、Ā′、B′ 是被调制之后的读出、离散递归与读入矩阵。这个对象之所以重要，是因为两个内部坐标完全不同、但马尔可夫序列完全一致的 SSM，在行为上无法区分——也就是说，它才是系统的坐标不变量。

术语解读：LPV 与"算子级条件化"

论文借用的理论框架叫线性参数变化（Linear Parameter Varying，LPV）系统。通俗讲，就是系统的内部参数不再固定，而是随一个外部调度变量（这里就是扩散时间步对应的条件向量）变化。MaRK 干的事情，是把 LPV 的控制变量从"输入"搬到了"算子参数"上：条件不再只是被模型看见，而是要改写模型记住多久、衰减多快。这一层差别，正是理解全文的关键。若对符号不熟，论文给出的紧凑符号表可以先过一眼。

表1：论文正文符号紧凑对照表，方便读者快速查阅 A、B、C、D、Δ 以及各类适配器的记法。

MaRK核心机制：把扩散时间步"写进"递归算子

MaRK 的全称是 Markov-adapted Recurrent Kernels，直译过来是"马尔可夫自适应递归核"。它的核心动作只有一句话：把条件向量映射成冻结 SSM 递归算子的有界调制。换成 LPV 的说法，就是每一层被调制的 SSM 都写成一个连续时间的状态空间系统，其中原本固定的 A、B、C、D 全部变成条件向量的函数。

公式中 x(τ) 是状态，u(τ) 是输入，n 为状态维度，m 为嵌入维度，ct 是绑定到扩散时间步 t 的动态条件向量，由标准 DDPM/DiT 的正弦（傅里叶）编码加两层 MLP 得到。条件向量一旦进入 A(ct)、B(ct)，系统的动力学就已经不是原来那套了。

输出方程同样如此，C 与 D 也都带上条件向量的下标。把这两个方程放在一起看，输入到输出的整条通路都成了时间步的函数，而输入本身并没有被改动——这就是"算子级条件化"与"输入级条件化"最本质的分野。

公式中 y(τ) 是输出，D(ct) 是条件化的跳连（skip）通路，它让输入可以不经状态直接参与输出。

有界调制：条件向量如何改写五个参数

参数不能随便改，改狠了模型直接发散。MaRK 采用的是"有界调制"：对对角化的标量参数 Θ 施加有界平移，其中 β 控制平移幅度，tanh 把调制项压到 (-1, 1) 区间。

这里的 Θ 覆盖 Alog、Δbias 与 D 这三类对角化标量参数，Θ′ 是调制后的值，ψshift(ct) 是学习到的条件映射函数。

对稠密投影矩阵 Φ（也就是 B 和 C）则同时给有界缩放和有界平移。因为这两个矩阵在 Hydra 里维度可以到"分组数 × 状态维度"，直接生成整个矩阵会遇到维度灾难，所以调制走的是秩 r 的低秩分解。

公式中 ⊙ 表示逐元素相乘，αΦ 与 βΦ 分别是有界缩放与有界平移的幅度系数，ψscale 与 ψshift 是两个学习到的映射。这里有个耐人寻味的结构性后果：参数高效并不是额外加的约束，而是这套适配机制自带的性质——低秩辅助映射本身就没法动多少参数。

论文还专门提醒了一点：调制无穷小生成元 A 与离散化步长 Δ，意义不同于对激活做标量仿射变换。前者直接参数化了系统特征值的分布与频率响应，让上下文显式出现在时间核的衰减性质里，而不是只当作一个外部信号偏置。

稳定性从哪来：零阶保持离散化链条

有界调制不只是"手感上更安全"，它能把稳定性做成一条可以手动验算的推导链。在 Hydra 的对角 SSM 里，每个递归特征值 Āi 由三步复合而来：

这一步保证 A 恒为负数，因为指数函数的值域恒为正，取负号之后必小于零。

softplus 函数恒大于零，因此离散化步长 Δ 也恒为正。这里 Δinput 来自输入投影，Δbias 是被 MaRK 施加有界平移的那一项。

Ai<0 与 Δi>0 相乘之后指数必落在 (0, 1) 开区间内，递归天然收缩。这三步连起来，就是第 4 节那份解析稳定性证书的全部原料——换句话说，稳定性不是事后测出来的，而是设计时就锁死在参数化形式里的。

冻结的骨干：Hydra BERT SSM

承载 MaRK 的底座是预训练的 Hydra BERT，它是 Mamba 的双向扩展，实现方式是一个准可分矩阵混合器（quasi-separable matrix mixer）。Hydra 的做法和常见的"前向一个模型、后向一个模型，再相加或拼接"的启发式方案不同：它只参数化一个混合矩阵，严格下三角对应前向半可分结构，严格上三角对应后向半可分结构，对角线则保持自由，充当一条学习到的残差通路。

公式按 i>j、i=j、i<j 三种情形分别给出了混合矩阵元素 mij 的构成，δi 是对角标量，bi、ci 是读入与读出向量，Ai 是状态转移矩阵。由于上三角非零，这个矩阵天然支持双向处理，也正好对上掩码离散扩散"同时用左右上下文"的需求。

实验用的是 BERT 规模的公开 Hydra-BERT 检查点：111M 参数、23 层。整篇论文里这个骨干一直是冻结的，只训练 MaRK 适配器，目的很明确——把"动态算子调制的效果"从"基础表示被改动"里隔离出来。顺带一提，这套机制也让 MaRK 具备微调能力：把一个已有的双向目标，转换成上下文感知的扩散目标。

训练目标：掩码离散扩散与 CART 加权

评估框架用的是掩码式离散扩散。给定长度为 L 的干净 token 序列 x0，前向过程按时间步 t 以概率 t 把每个位置替换成吸收噪声 token M，也就是以 1-t 的概率保持原样。

反向过程就是一个掩码预测器 pθ(x0|xt, t)，用完整的双向上下文并行预测所有被掩掉的位置。而驱动 MaRK 算子调制的条件向量 ct，正是这个时间步嵌入。

损失只在被掩掉的 token 上计算，w(t) 是时间步相关的重加权项，来自扩散证据下界（ELBO）。论文在这个基础上进一步做了 token 级的自适应重调度，也就是 CART，全称 Context-Adaptive Token-level Noise Rescheduling（上下文自适应 token 级噪声重调度），思路沿用 Dream 提出的 token 级重调度范式。

公式里每个被掩位置会收到一个以每个可见位置为中心的对称几何核，距离越近贡献越大，权重随周边可见上下文的数量增长；mj 是掩码指示量，p 是几何衰减率。这样做的道理很朴素：同一个时间步 t 下，两个被掩 token 的可预测性可能天差地别，周围可见邻居多的那个位置信息更充分，应该给出更强的学习信号；而邻居几乎全被掩掉的位置本身就欠定，过度惩罚只会灌入梯度噪声、把模型推向"容易的 token"。

逐 token 权重乘在掩码 token 的交叉熵项上再求平均，得到最终的 CART 损失。后面所有适配器变体的横向比较，用的都是这套加权验证口径。

论文主体思路速览

*表格超出部分左右可以滑动 $Table 1: CART losses ( \mathcal { L } _ { \mathrm { C A R T } } \downarrow ) across 10 seeds (mean ± 95% CI, 1 . 9 6 \times \mathrm { S E M } ) and trainable adapter sizes across completed validation datasets. Bold = Best. Underline = Second Best.$

Table 1: CART losses ( \mathcal { L } _ { \mathrm { C A R T } } \downarrow ) across 10 seeds (mean ± 95% CI, 1 . 9 6 \times \mathrm { S E M } ) and trainable adapter sizes across completed validation datasets. Bold = Best. Underline = Second Best.

三种核几何对决：Hypernet、Chebyshev与DCT谁更强？

条件向量到参数调制之间那道映射 ψ(·)，论文称之为调度函数：它把高维语义上下文搬到低维、且保证稳定的动力学参数流形上。换一种基函数，就换一种谱规律性。论文给了三个版本，参数量从 6.3M 到 11M 不等。😜

Hypernet：最省参数的直球打法

Hypernet 把条件向量映射出的隐状态 h 直接用线性投影打到参数平移上，同时生成低秩分解的左右矩阵 U、V。它是最省参数的一档，约 6.3M。

公式中 WΘ 是线性投影权重，h 是条件隐状态。

有界缩放用来控制增益放大、避免状态爆炸；而平移项只对 Hypernet 保留不加约束的自由度，当作残差修正，因此它也是三个变体里表达力最强的基准。

Chebyshev：用正交多项式换平滑梯度

Chebyshev 变体走的是正交多项式基。它先把隐状态投到一个潜坐标上，再用最高 K 阶的切比雪夫多项式去生成连续平移，参数量约 11M。

公式中 Tk(z) 是第 k 阶切比雪夫多项式，z 是潜坐标，系数由条件隐状态决定。

矩阵元素这一侧用的是基函数的头均值，也就是把各注意力头的 Tk 取平均，再与基础项叠加。多项式基的好处是偏置平滑，梯度不容易抖。

DCT：在频域里安排不同噪声强度

DCT 变体捕捉的是跨扩散步的频谱动态。它先构造一段长度为 L 的信号 u，把来自条件隐状态的谱权重按频率做衰减，再乘上固定的正交 Type-II DCT 余弦基，最后套用同一套有界调制结构，参数量约 7.1M。

公式中 f 是余弦频率分箱索引，分母上的 1/(f+1)softplus(α)+ε 是带可学习衰减指数 α 的频率阻尼项，ε 取 1×10-4，纯粹为了数值稳定。频率越高衰减越狠，等于对调制项做了一次带限约束。

对角平移直接由 u 读出，低秩因子则同时参考隐状态 h 与频域信号 u，让基础路径与频域路径各出一份力。三个变体的具体配置差异，论文用两张表列得很清楚。

表2：核特定的训练配置。三个核共享的设置包括秩 r=2、适配器 MLP 维度 256、时间步嵌入维度 128。

稳定性证书与算子恢复：理论保证如何支撑实践？

稳定性这件事，很多论文都是"跑通了就算稳"。本文想给出更强的说法：仿射二次稳定性（Affine Quadratic Stability，AQS）的解析证书。常规做法是解一个半定规划（Semi-Definite Program，SDP）去找公共李雅普诺夫函数，而这里直接利用前面的参数化链条，把 P 取成单位矩阵 I，就得到解析解。

因为 A 是对角的，李雅普诺夫条件逐元素就退化成 Āi2-1<0，每个头单独满足即可。当 Āi 落在 (0,1) 内时条件自动成立。又因为 Āi 随平移量单调递减（平移越大、A 越负、衰减越快），最坏情形出现在 δ=-βA 这个顶点上，而它被有界超矩形框住、离 1 有确定距离，于是稳定性裕度 εℓ=1-maxiĀi,ℓ2 必然为正。

论文把 23 层预训练 Hydra 的每层对角递归参数都取出来，在调制上界与最小离散化步长 Δmin=0.001 的设定下逐层验算，结果是全部 23 层都给出正的稳定性裕度，说明在给定假设下调制后的递归在整个允许条件范围内都稳。

图1：预训练 Hydra SSM 在 MaRK 调制极值边界下，各层稳定性裕度 εℓ 的分布情况。

另一条理论线是合成 LPV 系统识别实验。内部状态矩阵由于分解不唯一，本身处在不可辨识的流形上，但输入输出动力学在有界 LPV 假设下是可估计的。评价指标用的是坐标不变的马尔可夫算子误差（Markov Operator Error，MOE），也就是真实马尔可夫参数序列与估计序列之间的 Frobenius 范数差。

命题 4.1 给出的结论是：满足仿射二次稳定、表示有界的 LPV-SSM，其输入输出算子在结构等价类意义下可辨识，且平方损失下的估计误差以 O(1/√N) 的参数速率收敛，N 为样本总量。证明思路分三步，分别对应混合性（AQS 带来马尔可夫算子的几何衰减，配合持续激励条件进入指数 β-混合）、复杂度（tanh 有界参数化让算子类一致有界且李普希茨，Talagrand 收缩引理给出 Rademacher 复杂度上界）与泛化（把容量界转移到依赖序列的平方损失界上）。

图2：合成 Hypernet、Chebyshev 与 DCT 三种适配器做 LPV 恢复时，马尔可夫算子误差随数据集规模的变化曲线。实线为 15 个随机种子的均值，阴影为 95% 置信区间，红色虚线是按最小数据规模归一化的 O(N-1/2) 参考线。

从端点拟合出来的经验速率分别是：Hypernet 约 N-0.54、Chebyshev 约 N-0.66、DCT 约 N-0.64，与参数级收敛的判断吻合，差别主要来自核自身的常数项。Chebyshev 在最小的样本区间之后取得最低的结构化基误差，与其平滑的多项式偏置一致；DCT 的绝对常数更大，很可能来自额外的带限频谱限制，但它的单调衰减说明这个限制并没有破坏算子级的可恢复性。这套实验给的是"条件化生效"的存在性证据，而不是普适的性能承诺。

实验全面解读：从Markov动力学到推理开销

数据准备与训练设置

训练语料由多个来源的分片按相对权重混合而成，表 8 给出了各来源的占比，采样时做归一化处理。三个核共用同一套训练设置，包括优化器配置与批大小等，另外还有一组全局一致的超参数：调制边界与 CART 的相关设定在三种核之间完全相同。这样安排的目的就是把变量控制住——如果三种核的调制上界都不一样，后面的差异就说不清是几何带来的还是边界带来的。

表3：构建 Hydra 训练/验证语料所用的来源混合。百分比是各分片池的相对权重，采样时归一化。

表4：三个 MaRK 核共享的训练设置，数值取自训练配置及对应的优化实现。

表5：调制边界与 CART 设置，三个核完全一致。

实验结果

主实验在冻结骨干、同一扩散目标、同一 CART 加权验证口径下，横向比较三种适配器几何。评价指标是 CART 验证损失，越低表示在同样的上下文自适应加权下对掩码 token 的重建越好。

表6：10 个随机种子下三种核在 PTB、WikiText、Lambada、AG News、Arxiv 上的 CART 损失（均值 ± 95% 置信区间）以及可训练适配器参数量。加粗为最优，下划线为次优。

为了验证"条件化是否真的改写了时间算子的记忆特性"，论文在每个冻结的扩散时间步上测出它诱导的马尔可夫参数序列。具体做法是在 t∈{0, 0.25, 0.5, 0.75, 1.0} 上，对滞后 k≤4096 计算按头平均的马尔可夫范数，并与未调制的 Hydra 骨干对比。

图3：Hypernet、Chebyshev、DCT 三种 MaRK 适配器在不同扩散时间步 t 下，按头分辨的平均马尔可夫参数范数随滞后的变化。虚线代表未做时间步条件化算子调制的冻结 Hydra 骨干。

参数消融则在 WikiText 上检验五个参数各自的贡献。论文把完整调制与只调一部分、完全不调（也就是冻结 Hydra）做对比，看每个参数对 CART 损失的边际影响，避免"功劳全归 A"这种笼统说法。

龙迷三问

下面是龙哥对于大家可能的一些问题的解答：

这篇论文到底在解决什么问题？香港城市大学与英伟达AI技术中心提出MaRK，把扩散时间步映射成冻结SSM递归参数A、B、C、D、Δ的有界调制，111M骨干上只训6.3至11M适配器。三种核几何对比中Chebyshev平均验证损失2.55最优，并给出解析稳定性证

这篇工作最值得看的点是什么？Chebyshev核取得最佳平均验证损失2.55，DCT紧随其后为2.59，Hypernet为3.77。所有23层均通过AQS稳定性证书。合成LPV恢复实验中，三种核均展现O(1/√N)收敛趋势。Markov动力学分析表明MaRK产生时间步条件化的记忆核，且保持长程耗散性。推理开销在序列长度4096时仅增加14%-16%。

这篇工作的边界或风险在哪里？优点：首次将SSM条件化从外部信号注入提升到算子级调制，理论框架完整（AQS证书+可辨识性证明），参数高效（仅需6.3-11M可训练参数），三种核几何提供不同归纳偏置选择，推理开销可控。缺点：仅在111M参数模型上验证，未验证缩放规律；缺少与外部条件化方法在匹配训练计算量下的质量对比；条件化信号局限于连续有序的扩散时间步，未验证离散或高维提示条件化场景；有界参数化可能限制表达能力。

如果你还有哪些想要了解的，欢迎在评论区留言或者讨论~

龙哥点评

论文创新性分数：★★★★☆

提出MaRK框架，将扩散时间步上下文向量通过三种核几何（Hypernet、Chebyshev多项式、DCT）映射为冻结SSM递归算子（A、B、C、D、Δ）的有界低秩调制，实现算子级条件化而非外部激活调制。

实验合理度：★★★★☆

CART验证损失（L_CART↓）、Markov算子误差（MOE）、稳定性裕度（ε_ℓ）、推理延迟（ms）、内存占用（MiB）、可训练参数量。

学术研究价值：★★★★☆

提出MaRK框架，将扩散时间步上下文向量通过三种核几何（Hypernet、Chebyshev多项式、DCT）映射为冻结SSM递归算子（A、B、C、D、Δ）的有界低秩调制，实现算子级条件化而非外部激活调。

稳定性：★★★☆☆

现有材料未提供充分的极端条件、重复运行或扰动测试，稳定性暂按中性评价。

适应性以及泛化能力：★★★☆☆

现有材料未完整展示跨数据集、跨场景或分布外实验，泛化能力仍需进一步验证。

硬件需求及成本：★★★☆☆

序列长度4096时，Hypernet延迟304.75ms（+14.0%），Chebyshev延迟309.74ms（+15.8%），DCT延迟307.28ms（+14.9%）；序列长度512时开销为+65.6%至+104.0%；

复现难度：★★★☆☆

现有材料未确认完整代码、配置、数据处理脚本和权重是否齐备，复现难度暂按中性评价。

产品化成熟度：★★★☆☆

论文验证以研究实验为主，真实部署中的时延、成本、维护和异常场景仍需补充验证。

可能的问题：仅在111M参数模型上验证，未验证缩放规律；缺少与外部条件化方法在匹配训练计算量下的质量对比；条件化信号局限于连续有序的扩散时间步，未验证离散或高维提示条件化场景；

*本文仅代表个人理解及观点，不构成任何论文审核或者项目落地推荐意见，具体以相关组织评审结果为准。欢迎就论文内容交流探讨，理性发言哦～想了解更多原文细节的小伙伴，可以点击"阅读原文"，查看更多原论文细节哦！

读者留言

可直接以游客身份留言，也可注册读者账号。所有留言均需管理员审核后公开。

0 条已公开

还没有公开留言，欢迎留下你的看法。

游客可以直接留言；注册后可使用固定昵称和账号身份。登录免费注册