医学图像分割是个老战场了,U-Net 一脉的编码器-解码器架构打了十几年仗,从嵌套跳跃连接到注意力机制,该卷的都卷得差不多了。这几年 KAN(Kolmogorov–Arnold Networks,柯尔莫哥洛夫-阿诺德网络)强势入场,把网络里每个边上的固定激活函数换成可学习的单变量函数,给分割模型带来了一股新鲜血液。可问题也随之而来:边函数虽然被换成了显式的函数对象,训练时却还是靠聚合之后的节点输出去反向约束,每条边本身并没有一个明确的“学习目标”。换句话说,函数是显式了,但训练方式还是隐式的。哈尔滨工业大学(深圳)和香港大学的研究者这次干脆把 JEPA(Joint-Embedding Predictive Learning,联合嵌入预测学习)那一套“预测表征”的思路,直接搬进了 KAN 聚合前的函数空间。你不是缺一个显式目标吗?那我就在每条边上构造一个多半径函数签名,拿掩码在线分支去预测全上下文 EMA 目标分支生成的签名,训练完预测分支一扔,推理时零开销。思路确实有意思。
KAN边函数只能“隐式”学习?
先给不太熟 KAN 的读者补个背景。KAN 的核心就是把传统神经网络里“加权求和 + 固定激活”的方式,改成了“边上直接挂一个可学习函数”。具体来说,一个 KAN 层的计算可以写成:第 j 个输出节点等于所有输入节点对应边函数的求和。这条边上的函数通常做成 B 样条基函数的线性组合,再加上一个残差连接。好处是网络的非线性表达能力被拆解到每条边上,理论上可以用更少的参数逼近更复杂的映射。但这里藏着一个很微妙的问题。训练 KAN 的时候,损失函数只作用在节点聚合之后的输出上。也就是说,网络只需要保证“所有输入边函数的和”能产生正确的输出就行,至于每一条边具体长什么样,并不受直接约束。这就导致一个现象:完全不同的边函数配置,可能算出几乎一样的聚合结果。论文里把这种情况叫“多对一映射”,聚合操作把边函数的信息给“平均”掉了。FS-JEPA 的动机示意。为了克服特征级预测的局限性,预测学习被扩展到 KAN 聚合前边函数的结构化表示上,多半径签名刻画局部函数变化,从而直接在 KAN 函数空间中实现预测学习。更麻烦的是,一次前向传播中,每条边函数只在输入对应的那个锚点上被求值一次。即便两条不同函数在这个点上的响应一样,它们邻域内的变化趋势也可能完全不同。直观理解就是:考试只考了一个固定题目的答案,但没考这个学生是不是真的理解了解题思路。所以本文作者认为,现有的 KAN 视觉模型——包括 U-KAN、KAT 这些后续工作——本质上还是让边函数在“隐式”地被学习,缺少一个聚合前的显式优化目标。图2:标准 KAN 训练与所提出的 FS-JEPA 框架对比。(A)标准 KAN 训练只通过聚合后的任务监督优化边函数,此时不同的边函数配置可能产生相同的节点输出。(B)本文框架直接在采样的聚合前边函数上进行预测学习,从掩码在线上下文预测多半径签名到全上下文 EMA 目标,共享边索引保证对应关系。FS-JEPA 的解决思路很直接:既然聚合后的监督不够,那就把自监督的预测目标直接下沉到边函数层面。在线分支拿到被掩码的部分上下文,目标分支看到全上下文,两个分支共享同一组被采样的边索引,在线分支要预测出目标分支对应的“多半径函数签名”。这样每条被采样的边,就相当于拥有了一个明确的、聚合前的学习信号。
从特征预测到函数预测:多半径签名如何刻画 KAN 边的局部行为
要做到“在函数空间做预测”,第一步是解决表示问题:一条边函数,到底该用什么作为预测目标?最朴素的想法是直接预测这条边在锚点 u 上的响应值 φ(u)。但前面已经分析过,单点响应信息量实在太低,卡不住函数的局部形态。于是论文提出了“多半径签名”的概念。具体做法是:对一条采样边 e=(i,j),在锚点 u 的基础上,取一组对称的邻域偏移量,然后在这个偏移集合上分别求值,最终拼成一个 6 维向量。这个向量不是孤立的点,而是锚点附近函数变化的一个“切片”,它把函数在局部邻域的行为模式给“快照”下来了。公式1:KAN 边函数的样条参数化表示。其中 w^b 是基函数系数,w^s 是样条系数,s 是可学习的样条缩放因子,B^p 是 p 阶 B 样条基函数。这个公式描述了边 (j,i) 上的函数如何由 SILU 基函数和 B 样条基函数共同构成。锚点加偏移量的设计其实很有讲究。偏移量集合选的是±0.025、±0.05、±0.10这组非均匀间距,越靠近锚点采样越密,兼顾了局部精度和覆盖范围。从信息论的角度看,单点响应是函数的一个“零阶信息”,而多半径签名则是包含了一阶、二阶趋势的“邻域信息”。预测难度增加了,但预测目标的信息量也上去了,模型被迫去理解边函数的局部几何结构,而不是背答案。公式2:多半径签名的偏移量集合定义。这组非均匀分布的偏移量围绕输入锚点 u 对称选取,用于刻画边函数在锚点附近的局部变化模式。公式3:边函数签名定义。对一条采样边 e,其函数签名由锚点 u 加上偏移量集合 D 中的每个偏移 Δ 后逐一求值得到,最终构成一个多维向量,作为该边函数局部行为的结构化表征。图3:FS-JEPA 框架总览。分割网络与一个仅训练时生效的预测分支联合优化,该分支在聚合前学习采样 KAN 边函数的多半径签名。在线分支在显式边对应关系下预测 EMA 目标签名,从而在 KAN 函数空间中实现预测式表征学习。整个框架的结构如图3所示。底层的分割网络是一个 U 形的 KAN 架构,用了注意力增强的 KAN 模块和边界引导的跳跃融合。训练时,在四个 KAN 模块上挂了函数空间 JEPA 分支,在线分支看到的是部分掩码的 token 序列,EMA 目标分支看到的是全上下文。两个分支对同一条采样边分别计算签名,在线分支要去“猜”目标分支的签名。EMA(Exponential Moving Average,指数移动平均)目标分支不接收梯度,只作为稳定的回归目标。
确定性边对应:如何保证预测与目标指向同一条边
做过自监督学习的人都知道,JEPA 这类方法最怕的就是“对应关系”出问题。在线分支要预测目标分支的表征,前提是两个分支拿到的是同一个东西。图像领域好办,token 位置是天然对齐的;但 KAN 边函数不一样,因为边是随机采样的。论文里的做法很巧妙。对一条被采样的边 (i,j),把它的源节点 i 和目标节点 j 的位置分别编码成两个标量坐标。这两个坐标是确定性计算的,不引入任何额外可学习参数。然后把这些坐标跟多半径签名拼接在一起,作为签名预测器的输入条件。公式4:确定性的边坐标编码。源节点 i 和目标节点 j 通过线性映射归一化到 [−1, 1] 区间,得到坐标 (p_i, p_j),与多半径函数签名拼接后作为签名预测器的条件输入。这个设计的精髓在于:它把“这条边是谁”这个身份信息和“这条边长什么样”这个函数行为信息解耦了。坐标只负责告诉预测器当前预测的是哪条输入-输出连接,签名只负责刻画函数局部行为。因为在线分支和目标分支共享同一组采样的边索引,坐标天然一致,对应关系就锁死了。训练时还有一个工程细节值得注意:KAN 层如果有 d_in 个输入节点和 d_out 个输出节点,直接计算完整响应张量的复杂度是 O(BN·d_in·d_out),对大的层来说开销惊人。FS-JEPA 选择只采样 K 条边,通过“选边算子”直接 gather 对应边的样条参数和网格,把额外激活开销降到了 O(BNK)。这是能落地训练的关键一步。
[1] Liu, Y., Fang, X., Zhang, Y., Ren, S., Zeng, H., Chen, Y. Predicting Functions, Not Features: KANs with Function-Space Joint-Embedding Predictive Learning for Medical Image Segmentation. arXiv:2608.12050.[2] Liu, Z. et al. KAN: Kolmogorov-Arnold Networks. arXiv:2404.19756, 2025.[3] Assran, M. et al. Self-supervised learning from images with a joint-embedding predictive architecture. CVPR 2023.[4] Li, C. et al. U-KAN makes strong medical image segmentation. arXiv:2405.10178, 2025.[5] Yang, Y., Wang, H. KAT: A KAN-augmented transformer for visual token processing. 2025.[6] Ronneberger, O., Fischer, P., Brox, T. U-Net: Convolutional networks for biomedical image segmentation. MICCAI 2015.[7] Zhou, Z. et al. UNet++: A nested U-Net architecture for medical image segmentation. DLMIA 2018.