← 返回 PaperDaily 大模型与智能体

同济大学报告：过估计问题终结者，CWAC算法一键搞定

RoPE、2D-RoPE这些位置编码从哪来？这篇论文用一个“构成操作”统一了它们，还理论证明了路径无关的充要条件。基于此设计的JoFormer在值侧也做旋转，ImageNet提了0.4%，长度外推比降到1.02×——对于想理解位置编码本质的读者，这篇是不可错过的代数教科书。

龙哥读论文发布于 2026-08-14 09:11:43 阅读 4 查看原文

#强化学习 #人工智能 #模型训练

原论文信息如下：

论文标题:
Journey Operators for Structured Multi-Axis Composition

发表日期:
2026年7月发表单位:
A Carrot, Inc 原文链接:
https://arxiv.org/pdf/2607.26434v1.pdf

一个操作统一多轴组合：轴步生成器与路程算子

这篇论文的起点，是定义了一个非常简洁的操作——合成。这个操作看似简单，却为理解序列数据中的位置关系提供了一个全新的代数视角。在自然语言处理、计算机视觉乃至科学计算中，数据元素之间的相对顺序和绝对位置都承载着关键信息。传统的做法要么是给每个位置分配一个绝对编码（如Sinusoidal编码），要么是学习一个嵌入表。但这些方法往往缺乏对“顺序”这一本质概念的数学刻画。本文的作者们从群论出发，试图回答一个根本性问题：当我们说两个元素有“先后关系”时，这种关系在数学上究竟对应什么结构？

在1D（一维）场景下，每个数据元素可以表示为 (v, R) 这样的元组：v 是它的内容（向量），R 是一个正交变换，被称为轴步生成器。想象一下，它就像是在一条直线上，每前进一步，你的视角（或者说坐标系）就旋转一次。用于实现正交变换的矩阵源自正交群 O(d)，即所有保范的 d×d 矩阵。为什么选择正交变换？因为正交变换保持向量的内积和范数，这保证了在“旋转”过程中，信息的能量不会发生畸变，从而让模型可以专注于学习位置之间的相对关系，而不是被数值尺度所干扰。此外，正交群是一个李群，其光滑流形结构使得我们可以通过连续参数（如旋转角度）来平滑地控制位置编码，这为后续的数据依赖角度设计铺平了道路。

两个这样的点 (a, A) 和 (b, B) 如何组合？合成操作是关键：

简单说，结果是：内容 a + Ab，轴步生成器变成 AB。这意味着：你先把 b 通过 A 旋转到 a 的“视角”下，再进行内容相加，而两者的旋转效果则合并为 AB。这个过程是结合律的（associative），但非交换律（non-commutative）：先A后B和先B后A，结果是不同的。这个“非交换性”完美地捕捉了序列中“顺序”的概念。结合律保证了我们可以任意组合多个元素而不必担心括号的放置方式，而非交换性则确保了“先来后到”的顺序信息被保留。例如，在句子“猫追狗”中，“猫”和“狗”的角色不能互换，非交换的合成操作天然地编码了这种不对称性。

那么，对于一张图像这样的多维数据，每个数据点不仅有行列索引，还有一个独立的轴步生成器。当沿着某个轴进行合成时，只有该轴上的生成器起作用，其他轴保持不变。比如，在一张 2 维网格里合成，沿着列方向合成时，只调用行方向的生成器。这种设计使得多维位置编码可以被分解为各轴独立操作的组合，极大地简化了建模复杂度。论文定义了一个关键的路程算子——从位置 j 到位置 k 的旅程。在1D中，它就是沿着路径，累乘所有经过的轴步生成器。这个算子量化了从一个位置“移动”到另一个位置所需经历的变换总量，类似于在流形上定义了一个度量。

更优雅的是，路程算子可以用绝对算子来表达。定义一个位置 i 的绝对算子 A_i（将所有先前轴步生成器累积起来），那么从 j 到 k 的路程算子 P_{j→k} = A_k^{-1} A_j。这个表达式的物理含义是：先将 j 位置的东西用 A_j 旋转到全局坐标系（位置1的视角），再用 A_k^{-1} 逆旋转到位置 k 的视角。这就是整个组合理论的简洁表达。这个公式揭示了相对位置与绝对位置之间的深刻联系：任何相对变换都可以通过两个绝对变换的差来得到。这类似于在欧几里得空间中，两点之间的位移向量等于终点坐标减去起点坐标。因此，该框架统一了绝对位置编码和相对位置编码两种范式。

理论推导：为什么RoPE是必然的？

当面对二维数据时，一个问题自然浮现：先走行再走列，和先走列再行走，结果该不该一样？直觉上，这两个方向应该是独立的，对吧？论文的定理2.2明确回答了这个问题：当且仅当每个轴的轴步生成器相互可交换时，结果与路径无关（即路径无依赖性）。否则，路程就依赖于绝对位置。这个定理的重要性在于，它给出了一个可判定的条件来判断一个多维位置编码是否具有路径无关性。路径无关性在很多场景下是期望的性质，因为它意味着模型对数据遍历的顺序不敏感，只关心最终的相对位移。例如，在图像中，从像素A到像素B，无论是先水平移动再垂直移动，还是先垂直再水平，最终到达的都是同一个点，因此编码应该与路径无关。

这个结论引出了一个分类：平坦的（Flat）——生成器可交换，路径无关，路程只依赖位移；反之，则是弯曲的（Curved）。平坦世界对应于我们熟悉的欧几里得空间，其中平移是可交换的；而弯曲世界则对应于更一般的流形，如球面或双曲空间，其中沿不同方向移动的顺序会影响最终结果。这种分类不仅具有理论美感，也为实际应用提供了指导：对于图像、表格等各向同性的数据，平坦模型是自然的选择；而对于具有层次结构或因果依赖的数据（如树结构、时间序列），弯曲模型可能更合适。

接下来，论文做了更深一步的推导。定理2.4（环面分类定理）是核心洞察：在双线性、环面框架对称性（Toral Frame Symmetry）、上循环（cocycle）和范数保持这四个非常自然的假设下，唯一可行的分数计算结构就是块对角化的 SO(2)^{d/2} 旋转！这个定理堪称位置编码领域的“Noether定理”，它从对称性原理出发，推导出了注意力机制中位置编码的唯一可能形式。

简单解释一下：

- 双线性：分数函数对查询（q）和键（k）都是线性的。这是注意力机制中最常见的形式，点积注意力就是双线性的一个特例。双线性假设确保了分数可以写成 q^T M k 的形式，其中 M 是一个矩阵，这为后续的代数操作提供了便利。

- 环面框架对称性：模型假设位置编码的参考框架是一个环面（Torus，即多维空间的旋转），而不是任意的正交变换。这是整个分类的假设基础。环面本质上是一个可交换的紧致李群，其结构简单而规整。选择环面作为对称性，意味着我们假设不同维度的位置变换是相互独立的，且每个维度的变换是周期性的。这非常符合我们对图像和序列数据的直觉：水平移动和垂直移动是独立的，且移动一定步数后会回到原点（对于循环边界）。

- 上循环条件：这与群论中的同调论相关。它要求从一个位置到另一个位置的路程算子必须满足可组合性：即从位置 i 到 j 再到 k 的路程，与直接从 i 到 k 的路程，两者是一致的。用公式表示就是：P_{j→k} P_{i→j} = P_{i→k}。这个条件强制了表达式的代数结构。上循环条件本质上是要求位置编码构成一个群作用，即位置变换的复合与变换的复合是一致的。这保证了编码的相容性，避免了路径依赖导致的矛盾。

- 范数保持：分数计算结果不应改变向量的长度，也就是对输入进行正交变换。这个假设保证了注意力分数的数值稳定性。如果分数计算可以任意缩放向量长度，那么训练过程中梯度可能会爆炸或消失。范数保持性质确保了注意力机制的输出范数受控，从而有利于优化。

这四个条件一起，铁板钉钉地框定了注意力机制中位置编码的唯一合法形式：只能是每个2D子空间上的独立旋转。而如果我们将对称性扩大为整个正交群 O(d)（定理2.5），则所有位置结构都会坍塌，编码会退化为一个标量乘单位矩阵——这意味着失去了所有位置信息。这个结果非常深刻：它告诉我们，如果要求位置编码具有完全的旋转不变性（即O(d)对称性），那么位置信息根本无法被编码。只有当我们把对称性破缺到环面（可交换子群）时，位置编码才成为可能。这类似于物理学中，对称性自发破缺导致质量产生的机制。

这个理论有多强？论文一针见血地指出：RoPE本身就这个分类定理的特例。在1D序列中，如果所有轴步生成器都相同，即 R_t = R，则绝对算子 A_t = R^{t-1}，路程算子为 P_{j→k} = R^{j-k}。代入分数公式，就得到了标准的RoPE：q_i^T R^{j-i} k_j。而它的多维版本——二维RoPE，其生成器分别作用在不相交的子空间上，自然满足可交换性，正是这个“平坦”世界的居民。因此，RoPE的成功并非偶然，而是数学必然性的体现。任何试图偏离这个框架的位置编码，要么违反上述四个假设之一，要么性能会受到影响。

图：路径无关性要求生成器可交换。平坦世界中，先列后行与先行后列路径一致。

JoFormer架构：把路程算子引入注意力

理论存在了？那如何把它“搬进”模型，发挥实际作用呢？这就是JoFormer的使命。翻译过来就是“基于路程的Transformer”。论文的思路很清晰：标准注意力只在分数上用了位置信息（即RoPE），而完全忽略了值（Value）的顺序性——它只是简单地把所有值加起来。基于作者建立的理论，JoFormer提出了三个至关重要的设计原则，都是对理论推导的直接响应：

原则一：可交换性。采用块对角化的旋转矩阵（即SO(2)^{d/2}）。这是定理2.4的必然推论，保证了位置编码的合法性和路径无关性。具体实现时，将d维向量分成d/2个2维子空间，每个子空间独立应用一个旋转矩阵，旋转角度由位置决定。这种分块设计不仅满足了理论要求，而且计算效率高，因为2维旋转矩阵具有简单的形式 [[cosθ, -sinθ], [sinθ, cosθ]]，可以高效实现。

原则二：值旋转。不仅要旋转查询Q和键K来计算分数，还要对值V应用路程算子。这是定理2.8的直接结论，验证了平坦世界中，值传输具有位移无关性。这是与之前所有方法（如RoPE、2D-RoPE、LieRE）最核心的区别所在。为什么值也需要旋转？直觉上，如果不对值进行旋转，那么来自不同位置的值向量是在不同的“坐标系”下被聚合的，这会导致信息混淆。通过将每个值旋转到查询的坐标系下，我们确保了所有值都在同一个参考框架中进行比较和加权，从而更准确地捕捉序列中的组合结构。

原则三：数据依赖性。轴步生成器的角度应该由内容决定。这让角度不再是与位置绑定的常量，而是可以从当前token的语义表征中学习到的，实现了一种类似SSM的数据自适应值变换。为了让读者更好理解，下面结合JoFormer分数和值更新的具体计算方法一起看。数据依赖的角度使得模型能够根据输入内容动态调整位置编码的“分辨率”，在需要精细定位的地方使用高频旋转，在需要长程依赖的地方使用低频旋转，从而实现了比固定频率更灵活的位置编码。

JoFormer的具体计算过程分为两步：

分数计算：

α_{ij} ∝ exp( (R(θ_i)q_i)^T (R(θ_j)k_j) / √d )

与标准RoPE一模一样。这里R(θ)是块对角旋转矩阵，θ是位置i对应的角度向量。注意，在JoFormer中，θ_i不仅依赖于位置，还可能依赖于内容（对于数据依赖变体）。

值更新：

c_i = R(θ_i)^{-1} Σ_j α_{ij} R(θ_j) v_j

相当于将值v_j先旋转到它自己的参考系里，再聚合，最后旋转回到查询i的参考系。这就是“值旋转”的精髓。这个公式可以理解为：首先，每个值v_j被旋转到其所在位置的坐标系中（乘以R(θ_j)），然后根据注意力权重α_{ij}进行加权求和，最后将聚合结果旋转回查询位置的坐标系（乘以R(θ_i)^{-1}）。整个过程确保了位置信息的正确传递。

论文设计了三个变体，它们的不同之处在于角度 θ_i 的定义：

JoFormer-fixed：角度与位置是线性关系，相当于RoPE的值侧应用。具体地，θ_i = i * ω，其中ω是预设的基频向量。这个变体不引入任何额外参数，是RoPE的直接扩展。

JoFormer-learned：角度由位置乘以一个可学习的频率向量得到。即θ_i = i * ω_learned，其中ω_learned是可学习的参数。这允许模型自动调整不同频率分量的重要性。

JoFormer-projected：角度通过一个小型多层感知机（MLP）从当前token的残差流中投影得到。这是一个真正的数据依赖的位置编码。这意味着同一个位置的不同token可以有不同的旋转角度，从而实现了内容自适应的位置编码。

JoFormer-projected的角度计算如下：

θ(x) = W2 GELU( W1 LN(x) )

其中LN表示层归一化，GELU是一种激活函数，W1和W2是可学习的投影矩阵。这个MLP的输入是token的残差流表示x，输出是d/2维的角度向量。整个MLP的参数量很小，通常W1的维度为d×4d，W2为4d×d/2，因此额外开销可以忽略不计。

这不仅仅是一次简单的结构创新，论文还建立了一个“三大方法光谱图”，将注意力、SSM和JoFormer用统一的公式串联起来。这个光谱图揭示了不同方法在“选择能力”和“组合结构”之间的权衡：标准注意力拥有最强的选择能力（通过softmax），但缺乏组合结构（值不旋转）；SSM拥有丰富的组合结构（通过递归的A矩阵），但选择能力较弱（均匀权重）；JoFormer则试图兼顾两者，在保持softmax选择能力的同时，通过值旋转引入组合结构。

实验验证：视觉、语言、长度泛化中的收益

理论讲得天花乱坠，还得在实践中看看到底有没有用。论文在视觉、语言模型和长度泛化三个维度上，做了大量“单次验证”实验。所谓单次验证，是指每个实验只运行一次，没有进行多次重复取平均，但作者通过控制变量和消融研究来确保结论的可靠性。

视觉任务：值旋转带来的提升

在CIFAR-100上，首先使用ViT-Tiny模型来对比不同位置编码和值侧旋转的作用。结果非常清晰：在所有5个对比组中，应用值旋转（JoFormer的方法）都优于仅Q/K的变体。特别是，当与可学习频率结合时，提升幅度最大（超过2.3%）。这5个对比组包括：无位置编码、Sinusoidal编码、可学习绝对编码、RoPE、以及2D-RoPE。在每个组中，加入值旋转后准确率都有提升，证明了值旋转的普适有效性。

表1：值旋转（V rotation）在CIFAR-100 ViT-Tiny上的效果。应用V旋转在所有5个对比中均有提升，与可学习频率结合提升最大。

表1：值旋转在CIFAR-100上的效果。所有对比中应用值旋转均有提升。

在ImageNet-1K ViT-S的更大规模验证中，JoFormer（即对值也应用相同的二维RoPE旋转）相比仅有Q/K旋转的RoPE2D，Top-1准确率提升了0.4%。这个提升也许不算巨大，但值得注意的是，这是一个几乎“零开销”的改动——只需要多应用一次旋转和一次逆旋转，就能稳定带来收益。考虑到ImageNet上0.4%的提升通常需要增加模型参数量或训练时长才能获得，JoFormer的性价比非常高。

表2：ImageNet-1K ViT-S结果。

语言模型：分层配置下的损失降低

在维基百科语言模型上，几乎在所有的配置下，JoFormer-projected都获得了最低的困惑度（PPL，即预测下一个token的不确定性，越低越好）。实验配置包括不同的模型宽度（n=128, 256, 512）和深度（L=2, 4, 6）。例如，在n=512, L=6的配置下，JoFormer-projected的PPL为18.23，而RoPE的PPL为18.67，Sinusoidal编码为18.91。这表明数据依赖的角度在语言建模中同样有效。

表3：Wikipedia语言模型验证困惑度比较。JoFormer-projected在所有配置下PPL最低，随着模型宽度（n）与深度（L）增加，收益仍然存在。L2表示2层网络。

表3：Wikipedia语言模型验证困惑度（PPL）。JoFormer-projected在所有配置下均获得最低PPL。

长度外推：数据依赖角度的“外挂”效果

这是最令人兴奋的实验之一。模型在512长度的文本上训练，然后测试在更长的序列（1024、2048、4096）下的表现。标准化指标是PPL@4096 / PPL@512。这个比值越接近1，说明模型的外推能力越强。结果非常惊人：标准RoPE的比值为6.29倍，而JoFormer-projected仅为1.02倍！这意味着JoFormer-projected在推理长度达到训练长度8倍的序列时，困惑度几乎没有增加，而RoPE的困惑度则飙升了6倍多。

表4：长度泛化实验结果。JoFormer-projected在推理更长的文本时，PPL几乎不涨，外推比仅为1.02，远优于RoPE的6.29倍。

表4：长度泛化结果。JoFormer-projected的外推比仅为1.02倍，远优于RoPE的6.29倍。

这个结果证明了，引入数据依赖的角度，不仅仅提升了一点精度，它显著提升了模型在未见过的、更长序列上的推理稳定性和泛化能力。为什么数据依赖的角度能带来如此强大的外推能力？作者认为，固定频率的RoPE在训练长度上可能过拟合了特定的频率模式，而数据依赖的角度使得模型学会了根据内容动态调整旋转频率，从而在面对更长序列时能够自适应地调整位置编码，避免了频率错配问题。

价值路径层次：注意力、SSM与JoFormer的统一视角

一项优秀的理论工作，不仅要能提出新方法，还要能解释旧方法。本文在这方面做得非常出色，它用一个叫做价值路径公式的统一视角，将三个看似不同的家族——标准注意力、状态空间模型（SSM）和JoFormer——串在了一条因果链上。

价值路径公式 c_k = Σ_j α_{kj} P_{j→k} v_j，这里的 α_{kj} 是注意力权重，P_{j→k} 是路程算子。论文指出：

- 标准注意力（无位置编码）：相当于令 P_{j→k} = I，即完全忽略了值之间的位置关系，把里程算子看作一个恒等操作。这等价于假设所有值都位于同一个坐标系中，忽略了它们之间的相对位置关系。

- 状态空间模型（SSM，如Mamba）：SSM的核心是递归公式 h_t = A h_{t-1} + B x_t。注意，这个 A 矩阵可以看作一个数据驱动的轴步生成器，它作用于循环状态 h。论文证明了，展开这个递归公式，可以得到与注意力类似的价值路径公式（定理F.1），差别在于其权重 α_kj 是均匀的（即所有位置的权重相等，没有软注意力中的选择机制）。所以，SSM可以看作是一种“具有强组合结构但无选择性权重”的注意力。具体地，SSM的展开形式为 c_k = Σ_{j≤k} (∏_{i=j+1}^{k} A_i) B_j x_j，其中路程算子 P_{j→k} = ∏_{i=j+1}^{k} A_i，而注意力权重 α_{kj} 是常数（通常为1）。

- JoFormer：则恰好处在中间，既拥有来自注意力的全连接权重（选择性），又通过路程算子P_{j→k}引入了从SSM启发的非平凡组合结构。

这个价值路径层次清晰展示了每个方法在“选择能力”与“组合结构”之间的取舍和平衡，为我们理解 Transformer 模型的本质提供了一个强有力的代数透镜。这个层次也暗示了未来可能的研究方向：能否设计一种方法，同时拥有注意力的强选择能力和SSM的丰富组合结构？JoFormer是第一步尝试，但可能还有更优的折中方案。

总结与展望：代数视角下的位置编码新范式

这篇论文的价值，绝不仅仅在于提出了一个叫JoFormer的新模型。它的核心贡献在于，提出了一个基础性的代数框架，并为位置编码的无数困惑提供了第一次真正的理论解答：为什么Rotary PE必须要用二维旋转？为什么不同的轴之间必须独立？什么时候值侧也需要旋转？这篇文章用严格的数学给出了答案。这个框架不仅统一了现有的位置编码方法，还为未来的设计提供了理论指导：任何新的位置编码方案，都可以在这个框架下检验其合理性和最优性。

未来可能的发展方向包括：

- 非阿贝尔框架的扩展：将当前的环面（可交换）对称性扩展到更复杂的非可交换群，这可能带来更丰富的编码结构，适用于图等具有更复杂拓扑结构的数据。例如，对于3D点云数据，旋转群SO(3)是非可交换的，使用非可交换的轴步生成器可能更好地捕捉3D空间中的方向关系。

- 路径层次量化：将价值路径层次从概念性质的工具，发展成一个能够定量分析不同模型组合能力的计算框架。例如，可以定义“组合复杂度”指标来衡量一个模型对序列中长程依赖的建模能力。

- 更简化的投影角度训练：目前JoFormer-projected需要一个分两阶段的训练流程（先固定后微调），未来的工作可能会提出直接在随机初始化进行端到端训练的稳定性方案。两阶段训练的原因在于，数据依赖的角度在初始化时可能产生不稳定的梯度，先固定角度训练可以让模型学习到合理的注意力模式，再微调角度可以进一步优化。

总的来说，这不仅仅是一篇关于注意力机制或位置编码的论文。它是一本关于如何在神经网络的数据中建立“代数秩序”的指南，是机器学习社区对“结构”的理解迈出的重要一步。它提醒我们，在追求更大模型和更多数据的同时，不应忽视对数据内在结构的数学洞察——有时候，最深刻的进步来自于对基本概念的重新思考。

龙迷三问

下面是龙哥对于大家可能的一些问题的解答：

论文的“平坦”与“弯曲”世界，在实际应用中有什么区别？在“平坦”世界中（比如标准的二维图片），模型的编码与路径无关，这意味着模型对于“右移”和“下移”的顺序不敏感，这符合我们对独立轴的基本直觉。而在“弯曲”世界中，比如处理DNA序列或者股票的多元时间序列，不同的维度之间并不相互独立（比如，基因序列中的位点之间存在交互），使用非可交换的生成器可以捕捉这种复杂的依赖关系。所以，选择平坦还是弯曲，取决于你的数据轴之间是否真正独立。一个实用的建议是：对于图像、表格等数据，平坦模型通常足够；对于图数据、树结构或具有因果依赖的时间序列，弯曲模型可能更有优势。

JoFormer对值的旋转，在实现时是在注意力之前还是之后？会不会影响效率？论文的实现中，对V的旋转是“先转后关注”：在一个批次内，首先对每个Token的Q、K、V应用各自的位置旋转，然后注意力计算会根据（已经旋转后的）Q、K计算分数，并作用于（已经旋转后的）V，最后再用逆旋转将结果转回去。这是一个成对的操作，额外增加了一次旋转和一次逆旋转的计算量。在单头自注意力中，这个计算量增长约为O(N*d^2)，相比标准注意力（也需O(N*d^2)），几乎是零开销，图像和文本实验也说明了这一点。具体地，对于序列长度N和维度d，标准注意力的复杂度为O(N^2 d + N d^2)，JoFormer增加的旋转操作复杂度为O(N d^2)，当N较大时，N^2 d项占主导，因此相对开销很小。

这篇理论工作的核心假设（环面框架对称性）有没有什么局限？这是很重要的一个问题。环面对称性是整个分类的核心假设，它为模型提供了一个非常强的先验：位置变换必须是独立子空间内的旋转。这种假设非常适合序列和图像这种数据，因为它的编码空间是连续的，且维度是正交的。然而，在面对树形结构、图结构，或者像OpenAI O1那样的推理链时，这种基于绝对位置或位移的环面对称性可能不完全适用。这些场景下，位置编码可能需要引入非阿贝尔群，或者基于路径的编码机制，这正是论文在开放方向中提到的“非阿贝尔框架”。例如，在树结构中，节点之间的路径不是唯一的，需要更复杂的代数结构来编码。

如果你还有哪些想要了解的，欢迎在评论区留言或者讨论~

龙哥点评

论文创新性分数：★★★★★

从代数框架的根基出发，重新解释了RoPE、2D-RoPE等经典做法的必然性，并给出了全新的“值侧旋转”思路，是一种罕见的理论创新。这种从第一性原理出发推导位置编码的工作，在深度学习领域极为少见。

实验合理度：★★★★☆

实验设计很符合论文理论的性质，作者也坦诚所有实验为单次验证，未宣称为“最优