北京理工大学提出桥接—路由—适配网络（BRAIN）：多模态图基础模型学会选邻域与选模态

论文基本信息

方法名中的桥接—路由—适配网络（Bridge-Router-Adapter）分别负责构造候选、选择候选和适配任务。

原文标题：Towards Unified Multimodal Graph Foundation Model: A Bridge-Router-Adapter Based Approach

首次公开：2026年9月6日（arXiv记录时间为北京时间23:21）

署名单位：北京理工大学

原论文：https://arxiv.org/abs/2609.06668

龙哥导读

一个商品节点，可能带着商品图片、文字介绍，还连着用户、同类商品和购买记录。模型要判断的不只是“图片和文字怎么合在一起”，还有“该看多远”：只看直接相连的节点够不够？要不要看两跳之外？全图线索有没有帮助？如果把邻居和模态压成一个向量，后面的任务就很难再挑回真正有用的部分。

北京理工大学提出的BRAIN（桥接—路由—适配网络），先为不同邻域范围保留图文组合，再让路由器按任务先选范围、再选范围内的组合，最后用轻量适配器完成任务。它把“看多远”和“看什么”变成两个相连的选择题，而不是把多模态当成简单拼接。

先把问题说清楚：邻居越多，未必越有用

图是一种表达关系的数据结构：节点代表商品、用户、文章或图片，边代表购买、关注、引用、相似等关系。多模态图则进一步给节点附上文字、图片等内容。模型预测一个节点属于哪一类、会连向哪个节点，或根据图中关系生成文字和图片时，既可以看节点本身，也可以借用周围节点的信息。

但邻居的范围会改变信息的含义。以商品图为例，一跳邻居可能是同一用户买过的其他商品；两跳邻居会引入这些商品背后的其他用户；更远的全局范围则可能带来品类、社群或整体趋势。范围越大，信息越丰富，同时混入无关内容的风险也越高。一个分类任务可能只需要近邻的外观和类别，链接预测却可能依赖更远的共同关系。

模态同样没有放之四海皆准的固定比例。商品图片可能最能说明外观，文字则能补充型号、用途和规格；某些节点的图片模糊，另一些节点的介绍文字又很短。即使邻居范围相同，不同任务、不同节点也可能需要不一样的图文组合。

所以，真正的问题不是“图、文字、图片能不能融合”，而是模型能不能保留足够多的备选上下文，直到知道当前任务是什么之后，再决定从哪里取信息、以什么模态组合来读它。过早把范围和模态揉成一个固定表示，后面再强的任务头也很难恢复已经丢掉的区别。

图1｜左边对照两类旧设计：一种把不同范围的上下文合成单一表示，另一种在预先固定的图范围里调整模态。右边的BRAIN同时保留近邻、更远邻域和全局范围，并在每个范围下保留文本主导、图像主导、图文联合三种候选。

图1的关键是保留候选身份：每个表示都能说明来自哪个范围、按什么模态组织。范围和模态不再被过早揉成一团，后续路由才有选择空间；代价是候选还要构造和打分。

先造出九种备选，再让任务来挑

论文把图上下文写成一对索引。用 s 表示邻域范围，用 m 表示模态组成。范围集合包括一跳、两跳和全局；组成集合包括文本主导、图像主导和多模态。于是一个候选不只是“某个节点的表示”，而是“节点在某个范围下、按某种模态组织得到的表示”。

这里的 c 是候选上下文，S 是范围集合，M 是模态组成集合。三个范围乘三种组成，形成九个候选。请注意，“文本主导”并不表示候选里完全没有图像；论文强调候选仍然是多模态完整表示，只是构造它时更突出一种模态。这个区分很重要，否则读者容易把它误读成三个互不相关、信息被删减的单模态模型。

论文的核心概率分解把联合选择拆成“先选范围，再在该范围内选模态”。对锚点节点 v、下游任务 τ 和图 G，它写作：

左边表示任务在节点和图的条件下，选择某个范围—模态候选的概率。右边第一项先问：对这个节点和任务，哪个图范围更相关？第二项再问：已经确定范围后，在这个范围里哪种模态组织更合适？两个概率相乘，保留了“模态偏好可以随范围而变”的能力。

若范围分布和模态分布彼此独立，模型就近似认为“无论看近邻还是全局，文字和图片的价值都一样”；若直接对九个候选做分类，又会把范围与模态的层级关系藏起来。BRAIN把两种判断连接起来，保留“先选范围、再选范围内组合”的结构。

Bridge：同一范围只聚合一次，随后派生三种组合

Bridge（桥接模块）先围绕一个锚点节点，针对每个范围收集上下文。每个邻居都有文本和图像特征；锚点也有经过整理的多模态表示。Bridge并行处理两条信息通路：一条按锚点和当前范围计算注意力，挑出语义上更相关的邻居；另一条在该范围对应的子图中传播消息，保留节点之间的连接结构。

语义分支首先把锚点表示与范围嵌入拼接，经线性变换得到查询向量。记锚点为 v，范围为 s，多头注意力（MHA），范围内节点的多模态表示为 H，则论文给出：

qv,s 是当前锚点在当前范围下的查询；Wq 是可学习的投影矩阵；方括号里的竖线表示把两段特征拼起来，不是概率条件符号；h̃vmm 是锚点的多模态特征，es 是范围嵌入。注意力读取范围内的 H，得到语义聚合结果 Satt，同时保留注意力图 Ω。直觉上，模型会按“这个锚点在这个范围里要找什么”对邻居加权，而不是对所有邻居平均。

结构分支要回答另一个问题：两个节点即使文字和图片相似，它们在图中的连接位置是否也有意义？论文把范围内诱导出的子图邻接矩阵记为 Av,s，通过图卷积网络（GCN）传播，再做池化：

其中 GCN 沿图连接传递信息，Pool 把节点级结果汇总为范围级表示。注意力分支偏向“哪些邻居与锚点语义相关”，结构分支偏向“这些邻居怎样连接、连接关系共同表达什么”。二者不是重复计算：如果只用语义相似度，容易忽略关系路径；如果只用邻接传播，也可能把语义上不相关但结构上可达的节点一起卷进来。

两个分支随后按范围权重相加：

Sv,s 是该锚点在该范围的共享表示；ηs 控制结构分支贡献，论文将它约束在0到1之间。模型据此学习在具体范围里，语义挑选和图连接信息各占多少。

有了共享的 Sv,s，Bridge再构造三种模态候选：它把多头注意力图求平均，复用同一份节点权重分别读取文本与图像。这样比较模态组合时，至少不会同时改变“读了哪些节点”。

论文用 ψm 表示模态组合函数，用 cm 表示该组合的嵌入，再用有界的残差特征调制 Mod 把组合信号注入共享范围表示：

h̃txt 与 h̃img 是锚点的文本和图像表示，otxt 与 oimg 是按注意力权重读到的邻居文本和图像。ψm 决定当前候选怎样组合锚点与上下文；联合分支还可显式处理图文的一致与差异。Mod 根据这组信号生成缩放与平移参数，对共享范围表示做受限调制。这样，九个备选共享一份图上下文底座，又在模态组织上有所区别。

这一设计把计算顺序安排为“每个范围先聚合一次，再从它派生不同模态组合”。如果对九个候选分别重复完整图卷积和邻居聚合，成本会更高。复用注意力和范围表示能减少重复，但并没有消除候选池的构造和评分成本；论文后面也把九个候选列为未来可加速的对象。

Router：先判范围，再判该范围内的模态

Bridge的任务是造出选择空间，Router（路由器）才负责依据下游任务读取它。论文先把图摘要 gv 与任务嵌入 eτ 合成为任务查询，并经层归一化方法（LN）稳定数值：

Wg 和 Wτ 是学习到的投影，LN 是层归一化。图摘要带来节点及其候选上下文信息，任务嵌入告诉模型当前要做什么。比如分类、链接预测和图文生成，关注点并不相同。查询向量 rv 将这两类条件放在一起，供后面的打分器使用。

第一层路由器根据查询和各范围表示给出范围权重 αv,s。它回答“对于节点 v 的当前任务，范围 s 有多重要”。第二层则不再共用一个全局模态分布，而是在每个范围里单独估计 βv,m|s。它回答“已经处在范围 s 时，模态组合 m 该占多大比重”。

这里的 Sv 是锚点所有范围表示的集合，Vv,s 是指定范围下的三种候选集合，θ 表示路由器参数。式子中的条件项不是装饰：第二个分布明确看到当前范围表示和当前范围里的候选，因此它可以在一跳范围选文本主导、在全局范围却选图文联合。

两层分布相乘，得到第 (s,m) 个候选的联合权重：

ρ 是候选最终参与任务表示的权重。范围权重越高、范围内模态权重也越高，该候选贡献就越大。这里不是硬选一个“唯一正确答案”，而是把九个表示按学习到的权重加权，允许多个候选共同贡献。这样的软组合可保留不确定性，也意味着推理阶段仍要准备并计算多个候选。

最终的路由表示是九个候选的加权和：

在这个求和式里，V 是候选内容，ρ 是候选权重。模型没有把范围、模态两个维度压成一个不透明的融合门，而是让每个候选都保留可追踪的双重来源。

Adapter：路由之后再做轻量任务适配

路由得到的 zv(τ) 仍是共享候选空间的加权结果。Adapter（适配器）通过任务嵌入对它做一个残差修正：

A 是轻量任务适配模块；它的输入同时包含路由表示和任务嵌入。残差加法让原表示继续保留，适配器只需补上当前任务特有的调整，随后层归一化稳定输出。分类头、链接预测头或生成模块可以接在这个结果后面。把适配放在路由之后，意味着不同任务能先共享范围和模态候选，再在较小模块里完成各自的专业化。

图2把整个流程画成两个训练阶段。上半部分先学习共享表示，下半部分再学习范围—模态路由、Adapter和任务头。读图时可以按箭头从左到右：输入锚点和多个图范围，经Bridge生成候选；Router把范围权重与范围内模态权重合起来；候选被加权求和后进入Adapter和任务头。图中两阶段的分隔提醒我们，这不是一个只靠端到端任务损失训练的单块模型。

图2｜核心方法总览。Stage 1学习可复用的节点与范围表示；Stage 2由Bridge准备范围—模态候选，由Router先算范围权重α、再算范围条件下的模态权重β，二者形成联合权重ρ；加权后的表示交给残差Adapter和任务头。箭头表示信息流，α与β的乘积是候选权重，不应误读为额外的独立分类任务。

两阶段训练：先让表示站稳，再让任务教会模型选择

第一阶段在多个图数据集上联合采样锚点，预训练节点和范围表示。文本与图像分支对同一个锚点做对齐，使用对称的噪声对比估计方法（InfoNCE）计算对比损失；另一项图对比损失则要求图摘要保留与观测到的邻域范围一致的信息。论文把第一阶段目标写成：

Lalign 拉近同一锚点的文本和图像表示，Lgraph 约束图摘要与邻域结构保持一致，λG 调节结构目标的权重。直觉上，第一阶段先让模型有一套可复用的“节点是什么、周围有哪些关系”的基础表示，再进入具体任务。它不是单纯把所有图文压到一起；范围表示仍被保留下来，给后续路由使用。

第二阶段从第一阶段初始化共享通路，同时训练模态组合、路由器、适配器和任务头。论文用每个候选在任务损失上的表现构造一个停止梯度的教师分布：损失较低的候选得到更高目标概率，再用路由损失让模型预测的联合分布靠近它。这里“停止梯度”表示教师目标在该步不被同一条更新反向改写，避免路由器和教师一起移动、失去稳定参照。

第二阶段总目标包含四部分：

Ltask让最终预测完成分类、链接或生成；Lroute对齐路由器和候选效用教师分布；Lcond关注不同范围偏好发生变化的样本；Ldiv防止同一范围下的组合学成重复表示。四个λ控制辅助目标的影响，目标是让答案正确、路由随任务和范围变化、候选仍有差异。

实验到底证明了什么

论文在九个多模态图数据集上评估四类任务：节点分类、链接预测、图生文和图生图。节点分类使用ele-fashion、Reddit社区图数据集（RedditS）、Grocery和Movies；链接预测使用Bili_Food、另一链接预测数据集（DY）和Sports；图生文在Flickr30k上评估；图生图在艺术作品图文数据集（SemArt）上评估。不同任务使用各自适合的指标，因此这些结果不能用一个数字概括成“所有场景提升同样多”。

节点分类看准确率；链接预测看过滤后的平均倒数排名指标（MRR）和前三命中率（Hits@3）。生成任务使用相同骨干，并对齐数据切分、上下文预算、提示词和解码设置，尽量让差异来自图模型。

图生文用最高看四元组重合的双语评测指标（BLEU-4）和最长公共子序列指标（ROUGE-L），检查词面与序列重合。

图生文还用图像描述共识指标（CIDEr）和基于上下文语义的文本评分指标（BERTScore），补充衡量描述质量。

图生图使用图文相似度评分指标（CLIPScore），以及自蒸馏视觉特征模型（DINOv2）的图像相似度，衡量生成图像与文本条件、目标图之间的对应关系。

表1覆盖四个节点分类数据集和三个链接预测数据集，共十组数据集—指标比较。BRAIN九组均值第一、一组第二；判别任务相对最强基线最高提升4.73%。这比“每个任务都大幅领先”更准确：有些差距较小，收益不均匀，且只适用于论文采用的数据和协议。

原论文表1按节点分类与链接预测分组，粗体和下划线分别标出最好与次好均值。节点分类列是准确率，链接预测列是MRR或Hits@3；不同任务的数值不能混在一起比较。

图3将两种生成任务分开呈现：左侧是图生文，右侧是图生图。论文报告BRAIN在六项生成指标上均领先。

相对最强基线，图生文的CIDEr提高19.9%，图生图的DINOv2相似度提高29.3%；六项指标平均相对提升14.72%。

图3｜左侧对应Flickr30k图生文，右侧对应SemArt图生图；每组柱形代表不同方法，各指标从词面重合、语义相似到图文一致性衡量生成质量，BRAIN在论文报告的指标上领先。

图4检验第一阶段预训练是否能减少下游标注需求。作者固定第二阶段架构和优化流程，逐步改变监督数据比例，对比随机初始化和多图预训练初始化。DY和Bili_Food的链接预测更稳定地受益：DY在10%和20%监督下的MRR提升分别达到0.2123和0.2308，Bili_Food在20%监督下的MRR增益达到0.0781。反过来，Movies分类在监督比例最低时，预训练模型并没有立刻占优；随着标签增加，差距逐渐缩小，到80%监督时准确率从51.84%升到53.96%。

这不是“预训练对少样本永远有效”，而是收益依任务而变：链接预测更能利用关系先验，Movies分类则需要更多任务监督来调整通用表示。第一阶段已经包含目标图，所以这项实验衡量下游数据效率，不是面对未见图的零样本迁移。

图4｜从左到右展示Movies节点分类、DY链接预测和Bili_Food链接预测，在不同监督比例下比较随机初始化与Stage 1预训练。链接预测总体获益更明显，Movies在最少标注时存在反转，80%监督才出现明确优势。

图5显示Grocery和RedditS偏近邻，Movies偏多范围与联合模态，DY偏图像，Bili_Food偏较宽范围的文本，Sports主要依赖局部文本和图像。路由偏好会随数据集和任务变化，但图中是数据集平均分布，不能代表每个节点，也不能单凭热图证明因果或新领域泛化。

图5｜横向是邻域范围，纵向是文本、图像与联合模态组成；颜色表示平均路由偏好。Grocery、RedditS、Movies、DY、Bili_Food和Sports呈现出不同的范围—模态组合分布。

消融：真正有贡献的是组合关系，不只是多放几个候选

表2在Grocery、RedditS、Movies、Bili_Food和DY上做模块消融。节点分类用准确率，链接预测用MRR，所以每一列只能和同一任务、同一数据集里的结果比较。完整模型在这五列分别为82.92、95.34、56.25、38.63和75.70；不能把这些数值直接跨列相减，再说某类任务一定更难。

去掉图上下文后，Grocery从82.92降到79.31、Bili_Food从38.63降到31.78；去掉模态组合调制后，Movies从56.25降到52.22、DY从75.70降到59.23；只留一跳范围也会损失表现。节点自身的图文属性不能总替代邻居关系，范围和模态候选也不只是装饰。

表中的三种路由对照分别是均匀混合、共享模态偏好的独立Router，以及直接对九个候选打分的Flat Router，都低于完整模型。Bili_Food的MRR中，完整模型为38.63，独立路由为35.89，Flat路由为36.58；去掉Adapter后降到29.46。论文据此认为，候选构造、条件路由和任务适配各有贡献。

读表时先看列标题确定任务和指标，再沿同一列比较完整模型与消融模型。粗体完整模型在五列中都最高；这些代表性数据集上的变化支持“组件互补”，但不能替代团队在自有数据上的拆分实验。

表2｜原论文消融表，按节点分类（Grocery、RedditS、Movies）和链接预测（Bili_Food、DY）列出完整模型及各移除模块的结果。分类指标是准确率，链接预测指标是MRR；数字仅在同一数据集、同一任务列内比较。

效率与对照论文：灵活性换来的成本不能略过

图6报告一个节点分类配置有733万可训练参数，路由器约占8.3%。第二阶段训练用时8.12分钟，峰值显存2.37吉比字节；第一阶段预训练峰值显存为18.76吉比字节。作者将这些数字用于说明下游适配阶段较轻，但也可以看到，成本主要集中在先构造和比较多范围、多模态候选的流程里，而不是最后那层小适配器。

时间和显存是论文配置下的观测，不等于线上推理延迟，也不能直接换算到任意硬件。8.12分钟只描述第二阶段；完整流程还包括第一阶段预训练。部署时仍要测候选构造、图采样、缓存和并发请求的实际成本。

论文指出候选数量固定为K=9，Router对这些范围—模态候选逐一评分，主要扩展成本与候选构造和打分有关。未来可以尝试Top-k或硬路由，只保留少量候选来减少计算。不过这样会改变软加权的计算方式，可能丢掉多个上下文共同贡献的好处，需要重新测精度、稳定性与延迟之间的取舍。

图6｜论文同时展示参数量、Stage 2训练时间和峰值显存。节点分类配置含733万参数，Router占8.3%；第二阶段峰值显存2.37 GiB，第一阶段为18.76 GiB。

多跳图文融合方法（Graph4MM）用跳数扩散注意力和多映射查询变换器处理多跳结构与图文关系；BRAIN进一步把范围—模态候选显式保留，并按任务先选范围、再选组成。全局图文对齐方法（PLANET）分别处理嵌入层模态交互和节点层全局对齐，BRAIN的重点仍是范围条件下的模态路由。这里只比较机制，不拼接不同数据与协议下的分数。

龙哥点评：值得借鉴的是选择逻辑，不是九个候选照搬

BRAIN最值得借鉴的，是把两个经常混为一谈的问题拆开：先选关系范围，再选该范围里更依赖文字、图片还是图文联合。团队可以先问：数据是否存在有用的关系层级？任务是否偏好不同范围？模态质量是否随节点和邻居改变？如果答案都是肯定的，显式保留候选才有价值。

我不会只因为九组里九组第一，就建议直接上线。Stage 1最高18.76 GiB的显存、九候选的计算与存储，以及论文没有报告的线上延迟，都需要补账。更务实的复现方式，是固定数据切分和任务头，对比节点自身、单一近邻、固定图文融合与条件路由，同时记录效果、显存、构造时间和请求延迟。若路由只在部分任务有效，就只在这些场景启用。

结论仍限于九个既定多模态图基准；论文没有证明超大动态图、实时推荐或未见图迁移同样有效。少样本实验使用了参与第一阶段训练的目标图，图5平均路由也不是因果证据。它给出的是一套值得验证的选择机制，不是可直接套用的产品保证。

主要参考资料

本文基于龙哥读论文PaperDaily数据库及PaperMiner的MCP进行汇总整理。本文为论文解读与个人学习笔记，不构成任何论文审核意见，及对产品能力、安全性或商业可用性的保证。