ACM MM'26香港城大新作：专治多模态推荐“标题党”骗局，反向净化噪声还能涨点11.28%

原论文信息如下：

论文标题：
Beyond Modality Harmony: Orthogonal Purification and Topology-Guided MoE for Conflict-Aware Multimodal Recommendation

发表日期：
2026年09月（ACM MM '26，2026年11月10-14日，巴西里约热内卢）

发表单位：
香港城市大学（City University of Hong Kong）、香港理工大学（The Hong Kong Polytechnic University）

原文链接：
https://arxiv.org/pdf/2609.02152v1.pdf

开源代码链接：
https://github.com/Camilla-jl/Orthorec

项目链接：
https://github.com/Camilla-jl/Orthorec

引言：当推荐系统遇上“照骗” 各位朋友们，晚上好，欢迎回来。 今天咱们要聊的话题，跟每个喜欢网购的朋友都有关系：你有没有发现，有时候你明明是被一张超好看的商品图吸引点进去的，结果买回来发现根本不是那么回事？或者，你明明搜索的是“简约风白色T恤”，系统却给你推了一堆花里胡哨的“卖家秀”？ 这背后藏着一个让整个学术界都头疼的问题：推荐系统看走眼了，被多模态信息里的“标题党”给带偏了。 所谓多模态推荐系统，通俗地说，就是让AI同时看商品的图片和文字描述，再结合“和你类似的人都在买什么”这种集体智慧，来猜你喜欢啥。过去几年的主流思路有一个默认前提——“模态和谐”，什么意思呢？就是说AI默认商品图片、文字和用户的真实行为是高度一致的，你看到的图就是你想买的货。很傻很天真对不对？ 现实世界根本不是这样的。商品的封面图为了点击率，常常夸张到“图不对货”；商品的标题为了搜索流量，经常堆砌一堆跟实物没啥关系的热门词。学术上管这种多模态特征和用户真实协同行为不一致的现象，叫做“模态-拓扑冲突”。碰上这种情况，老式推荐算法全都乱了阵脚：明明张冠李戴的图，它不仅照单全收，还会把这些噪声放大，最终把你真正的偏好空间搅成一锅粥。 香港城市大学和香港理工大学的团队，在ACM MM'26上拿出了一套名为OrthoRec的方案，思路非常“骨骼清奇”：与其费劲去辨识哪些图是“照骗”，不如借用几何里的正交分解，把多模态特征里和协同行为对齐的那部分“安全信息”，与和协同行为无关甚至相悖的“风险成分”直接拆开，再把风险成分里确属噪声的方向给“拧”掉，而且全程保持向量的模长不缩水。换句话说，把有毒的方向剔除掉，但把特征的表达能力原汁原味地留下来。 如上图所示，左边是“标题党”如何污染用户真实意图，右边是传统softmax融合机制里的零和博弈问题。这套组合拳打下来，实验结果相当能打：在Baby、Sports和Clothing三个Amazon公开数据集上，OrthoRec不仅全面超过了近期的各类强基线，还在NDCG@10上最高涨了11.28%，在冷门商品（交互记录极少）上的Recall@20更是比强基线高出约41%。 今天这篇文章，龙哥就带大家把这套方案掰开揉碎看清楚：它到底是怎么识别“照骗”的？正交净化的是什么？那个打破零和博弈的“解耦门控”又是什么绝活？ 篇幅不短，但读完你会有种“原来几何还能这样用在推荐里”的痛快感。 多模态推荐的“和谐幻象”为何崩塌？ 在聊OrthoRec的具体招数之前，得先把病灶看清楚。 所谓“模态和谐”，是过去多模态推荐研究里一个心照不宣的底层假设：预训练模型抽取出来的图像特征和文本特征，天然就是可靠的、对推荐有帮助的、和用户协同交互模式高度一致的。几乎所有主流方法——不管是LATTICE搞的潜在结构挖掘，还是MMGCN做的模态专属图卷积，或者是MENTOR、BM3那一路的对比学习范式——都默认把视觉和文本特征当成“优质营养”，直接往协同信号里灌。 但学界这几年越来越意识到，这个假设是脆弱的，甚至是错的。 真实电商平台里，商品的视觉特征往往被“点击率优化”过：封面图怎么吸睛怎么来。文本特征则可能被“搜索流量优化”过：标题里能塞多少热门词就塞多少。这导致视觉、文本和用户真实行为之间频繁出现错位。当那些图不对货、词不达意的多模态信号混进用户-物品二部图后，图结构里就会出现大量“假阳性”连边，本来干净的协同过滤空间被搅得乌烟瘴气，学出来的用户表示彻底跑偏。 论文把这种崩溃拆成了两个具体的机制： 第一，“盲目对齐带来的破坏性干扰”。不少方法会引入对比学习，强制让多模态特征和协同图在表示空间里对齐，或者通过图神经网络把多模态特征一路传播。可一旦某个商品的图本身就是“照骗”，这种强制对齐等于帮噪声背书。用户的真实偏好表示，会在一次次的“看图”中坍缩成对视觉假象的拟合。 第二，“融合阶段的零和游戏”。主流模型融合视觉和文本时，不是简单拼接，就是用softmax注意力给各模态打分。softmax有个数学上绕不开的性质：所有模态的权重加起来必须等于1。给视觉加了权重，文本权重就必然被压下去。这就好比一桌好菜，规定你只能选一道吃——哪怕视觉和文本同时提供了关键信息，模型也没法同时重用。更要命的是，这种分数还是从可能已被污染的原始模态特征上算出来的，噪声越大，反而越容易拿到话语权。 这两大致命伤叠加起来，结果就是：模态特征用得越多，推荐效果可能越差。论文里有个挺扎心的实验结论，不少多模态强基线模型，在拥有额外信息的情况下，居然打不过只用协同信号的LightGCN。多模态信号从来不是免费的午餐，处理不好，就是妥妥的负资产。 OrthoRec的核心判断是：问题不在多模态本身，而在缺少一套能识别并处置“模态-拓扑冲突”的系统性机制。团队给的解法，是几何级的——把每个模态的特征，相对于一个“协同锚点”做正交分解。 这个思路很妙，但原理得一步步讲。 正交净化：几何视角下的噪声过滤新范式 OrthoRec全称是“Collaborative-Guided Orthogonal Purification and Topology-Guided MoE”，其中第一个核心模块叫CGOP，全称“Collaborative-Guided Orthogonal Purification”，也就是协同引导的正交净化。 先问一句：什么是“协同锚点”？ 多模态推荐最怕什么？怕一开始就把视觉和文本特征灌进图卷积里，因为这时候你根本分不清哪些信号是靠谱的，哪些是“照骗”。OrthoRec的应对方式很“洁癖”：在融合任何多模态信息之前，先只用纯ID嵌入在用户-物品二部图上做图卷积。ID嵌入只编码交互结构，不掺任何外部模态，这样学出来的嵌入，提炼的是“广大人民群众用脚投票”的集体智慧。论文把这个纯结构信号叫做协同锚点（Collaborative Anchor），记作 e_CF。 这个锚点，就是用来判断多模态特征“靠不靠谱”的坐标系原点。 拿到锚点后，CGOP干了一件特别漂亮的事：把每个模态的原始特征 e_m（m可以是视觉V或文本T）投影到锚点方向上，分解成两个分量。 第一，平行分量 e_m∥。这个分量沿着协同锚点的方向，语义上和集体行为高度一致。说白了，大家觉得好、你也确实买了的东西，这部分视觉或文本信号是“安全的”，可以放心大胆地用。 第二，正交分量 e_m⊥。它是原始特征减去平行分量剩下的残差，和协同图在数学上完全不相关。这部分是个“灰盒”：里面既有能帮系统发现长尾兴趣的探索性新信号，也藏着视觉标题党那些专门带偏节奏的噪声。 问题来了：怎么区分正交分量里哪些是宝、哪些是草？论文用了一个非常巧妙的几何度量——冲突分数。具体来说，就是算原始模态特征和协同锚点之间的余弦相似度 c_m，归一化到[-1, 1]区间。c_m越低，或者干脆是负数，就说明这个模态和协同行为冲突越狠，越可能是“照骗”。为了防止模态之间因为预训练特征分布不同带来的天然偏差，论文还把这个分数减掉了批次均值，做了一次居中处理，让门控看到的是“这个商品在同类里冲突算不算严重”，而不是“所有商品普遍冲突”。 图2 OrthoRec整体架构图。四个模块协同工作：协同锚点提取、能量保持正交净化、拓扑感知路由MoE、safe-SSL安全优化 有了冲突分数，正交分量就不是被一刀切地丢掉，而是通过一个轻量级MLP加sigmoid构成的软门控，做一个自适应缩放：对齐好的商品，正交分量里可能有值得探索的信号，门控开大一点，让信息进来；冲突严重的商品，门控收窄，把正交分量里那部分“带毒”的方向压下去。 这里藏着整个CGOP最精髓的设计——能量保持归一化。如果模型直接输出“平行分量 + 缩放后的正交分量”，向量的L2范数通常会缩小。深度学习里，嵌入向量模长常常和特征表达能力、置信度正相关。硬生生把模长缩小，等于把特征的“音量”调小了，就算方向修对了，信息量也受损了。 OrthoRec的处理方式是把截断后的向量做L2归一化，再乘回原始特征的L2范数。翻译成人话：修正你跑偏的“方向”，但保留你原有的“能量”。这样既除掉了噪声的方向性干扰，又没有因为过度处理而阉割模态本身的表达力。整套操作下来，相当于给每个模态特征做了一次“方向校准”，让让原本跟集体智慧唱反调的“刺头”特征，被扭回到安全区间内。 解耦门控：打破零和博弈的融合革命 正交净化把每个模态的方向校正了，接下来要把视觉和文本拼装回统一的物品表示里。这一步传统方法怎么做的？要么启发式相加，要么softmax注意力。 前面已经埋过伏笔了——softmax注意力有一个天生的毛病，就是零和博弈。注意力权重经过softmax归一化之后，所有模态权重和为1，给视觉多了，文本就得饿肚子。论文里管这个叫“Zero-Sum Bottleneck”。为什么说它是瓶颈？因为推荐场景里，很多商品恰恰是视觉和文本同样关键：一条裙子，图片展示版型，文本描述材质，两个都不能少。零和机制等于逼着模型在“眼睛”和“耳朵”之间二选一。 OrthoRec对付这个问题的招数，叫拓扑感知路由MoE（TAR-MoE）。说白了，就是把融合规则从“大家抢一个总分”改成“各自独立打分”。 注意这里有个细节很关键——路由的输入不是原始模态特征，而是协同锚点 e_CF。也就是说，每个模态注入多少，不是靠模态自己“王婆卖瓜”说了算，而是由用户群体的真实行为共识来定。模型用sigmoid门控分别为视觉和文本生成独立的权重 g_T 和 g_V，两个权重互不干扰，都可以同时接近1，也都可以同时接近0。 最终，被净化过的视觉特征和文本特征带着各自的“通行证”注入进协同锚点里，形成统一的物品表示，最后再跟用户表示做内积，算出推荐分数。 可能有的朋友会问：sigmoid的输出不是只能在0和1之间吗？跟softmax拉开的差距到底有多大？论文里做了个挺直观的统计：在Clothing数据集上，用softmax做路由，视觉和文本权重永远加和为1；而OrthoRec的解耦sigmoid门控，所有商品的门控加和平均值只有0.24到0.40，而且在超过99%的商品上，g_T+g_V连0.5都不到。 换句话讲，softmax模型为了“让文本多说点”，不得不先“让视觉闭嘴”；而解耦门控可以同时让两个模态都保持低注入——碰上那种视觉文本都不太靠谱的商品，把两者一起压住才是正确姿势，零和博弈根本做不到这点。 安全对比学习：为矛盾模态装上“安全阀” 融合问题解决了，还有一块拼图没补齐：跨模态语义对齐。 推荐系统里，文本和图像的特征空间天生有裂隙，很多工作会引入对比学习作为辅助任务，拉近同一件商品文本和图像的距离，同时推开不同商品的距离，以此来缓解数据稀疏。经典的InfoNCE损失就是干这个的。 但对比学习在多模态推荐里有个隐患：强制对齐一切“成对”的图文。当一个文本描述很写实、但配图是夸大宣传的“照骗”时，这两者本质上是互相矛盾的。你把它们使劲往一起凑，等于把噪声焊死进表示空间，最后学出来的特征两头不讨好。论文把这个问题叫做“潜伏失真困境”。 OrthoRec的解法有个特别讨巧的地方：它没有另起炉灶设计一套新的冲突检测器，而是直接复用了CGOP阶段算出来的居中冲突分数 c_T 和 c_V。这两个分数一相加，再经过sigmoid函数映射成一个动态权重 λ_safe。如果某个商品的视觉和文本都跟协同锚点挺和谐，λ_safe就接近1，对比学习的对齐力度拉满；要是视觉部分明显是“照骗”，冲突分数变成大负数，λ_safe就平滑地衰减到接近0，相当于直接告诉对比学习：“这对图文关系有毒，别硬凑了”。 这个动态惩罚项被乘到InfoNCE损失前面，论文管这个升级版损失叫safe-SSL。实验里有个数据很能说明问题：把safe-SSL降级成普通的InfoNCE（也就是不做冲突感知，所有图文都强制对齐），在Baby数据集上的效果不仅没有变好，反而跟完全去掉SSL差不多。这进一步印证了：在模态冲突频繁的真实场景里，盲目做语义对齐确实是有害的，安全阀不是锦上添花，而是必需品。 到这里，OrthoRec的三个核心机制已经串成了一条完整的逻辑链：先用协同锚点定坐标系，再用CGOP把正交噪声的“方向”修掉，接着用TAR-MoE让修好的视觉和文本按各自的靠谱程度独立进门，最后用safe-SSL守住跨模态对齐的底线，不让任何有毒的图文对污染优化过程。整个框架像一个纪律严明的流水线，每一步都对“模态-拓扑冲突”严防死守。 实验验证：全面领先与鲁棒性实证 方法论聊完，得用数据说话。OrthoRec在三个Amazon公开数据集上做了大量实验，这里帮大家划几个重点。 先说总体表现。下表是三个数据集上的对比结果，OrthoRec在每一个数据集的每一项指标上都排名第一。对比的基线阵容相当豪华，涵盖了三大流派：纯协同过滤模型（MF-BPR、LightGCN、SimGCL、LayerGCN）、图多模态模型（VBPR、MMGCN、GRCN、DualGNN、LATTICE、LGMRec）、对比学习与去噪模型（SLMRec、BM3、FREEDOM、MMGCL、DA-MRS）。 从数据上看，OrthoRec相对最强基线的提升相当均匀，NDCG@10的提升幅度（+11.28%、+8.79%、+3.23%）普遍高于Recall@10的提升幅度（+8.76%、+5.98%、+4.78%）。这说明正交净化不仅帮系统多捞回了一些本来被噪声压住的商品，还把真正相关的商品排到了更靠前的位置。 值得注意的是反直觉现象：部分多模态基线（尤其是MMGCN）居然打不过纯协同的LightGCN。多模态信息明明更多，效果反而更差——这就是“模态和谐”假设崩塌的直接证据。 消融实验也紧扣论文的几个核心论断：把TAR-MoE换成softmax路由是损失最大的一种变体，尤其在Clothing数据集上掉点最狠。这验证了解耦门控对融合多样性的关键作用。而把safe-SSL降级为普通InfoNCE，在Baby数据集上几乎没有恢复任何性能，说明“不带安全阀的对比学习”在某些场景下等于白做，甚至有害。 不过，龙哥在看消融实验时注意到一个有趣的结果：单独关掉CGOP的自适应截断门控，性能的下降幅度并不大。论文的解释是：在“干净”的基准数据上，预训练特征本身已经很规范了，正交方向上携带的欺骗性成分没有想象中那么多，所以要靠注入额外噪声才能看出CGOP的真本事。这个解释说得通，但也提醒我们：在数据相对干净时，CGOP的收益主要是“未雨绸缪”，而在真实充满标题党的场景中，它的价值才会完全释放。 紧接着的噪声鲁棒性实验正好补上了这一环。论文随机打乱了一部分商品的视觉特征，制造出不同程度的多模态噪声，比例从0%、10%、20%一直加到30%，结果还是很有说服力的。 LayerGCN那条几乎水平的线最值得玩味——它根本不使用任何视觉特征，所以无论你怎么打乱图片，它的性能纹丝不动。但这条“平坦”曲线的代价是，它在任何一个噪声水平下都比OrthoRec低0.020到0.033。所以，平坦未必代表鲁棒，也可能只是“眼不见心不烦”的鸵鸟策略。 相比之下，LGMRec这类深度融合模型在干净数据上能与OrthoRec一战，但噪声一上来就扛不住了，掉点趋势明显，而且每个噪声水平下都被OrthoRec压住。OrthoRec的高明之处在于：它既敢用视觉信号吃下干净数据上的红利，又能靠CGOP把“照骗”方向截断在摇篮里，换来一个更平缓的退化曲线。 再看冷启动表现。把测试商品按训练频率分成Cold（≤5次交互）、Normal（6-20次）、Popular（>20次）三组后，OrthoRec在Cold组上的Recall@20比LGMRec高出约41%。冷门商品本来协同证据就少，最容易受到多模态噪声的误导，而正交净化在这个最需要“定力”的场景里反而立了大功。至于那些交互记录多到溢出的热门商品，协同信号本身就很强了，多模态特征属于锦上添花，OrthoRec的优势收敛到4%以内也属正常。 还有个细节值得展开。论文里有一组关于用户#23578的案例分析： 图8 用户#23578的案例分析。左：LGMRec推荐结果；右：OrthoRec推荐结果 这位用户所处的Clothing数据集整体上视觉信号质量很高，可具体到这位用户，他的历史交互恰恰落在那些图像与协同拓扑严重冲突的样本上。LGMRec那种数据集层面的无差别融合策略，直接被他那些“好看但不对味”的图片带偏，两个目标商品都没出现在推荐列表顶部。而OrthoRec依靠逐商品的冲突门控，及时把这位用户视觉特征里带毒的方向给截掉了，最终把两个目标商品都成功推进了前20。 这个案例给了一个很重要的启示：模态噪声不是一个“全局统一”的问题，而是高度个性化的。对用户A来说是福利的视觉特征，对用户B可能纯属噪声。这种逐商品、逐模态的精细控制，才是OrthoRec的核心竞争力所在。 总结与展望：多模态推荐的未来之路 把整篇文章读到这里，相信大家对OrthoRec已经有了一个比较立体的认识。如果要用一句话概括它的贡献，龙哥会这么说：它挑战了多模态推荐里那条最根深蒂固的“模态和谐”默认设置，用正交分解这种干净的几何工具，把特征里的“共识”和“噪声”硬生生分开，再通过解耦路由和安全的对比学习，让每一个模态都被安放在它该待的位置上。 OrthoRec的局限性和边界条件也同样清晰。首先，它的所有验证都基于Amazon三个品类的数据集，虽然覆盖了从婴儿用品到服装鞋帽的广泛品类，但离抖音、快手这类短视频平台里那种图文视频混排、时序性极强的真实场景还有距离。其次，论文合成的视觉噪声（随机打乱）和真实世界里的“标题党”噪声，形态上仍有差异，正交净化对后者到底能扛住多少，还得等更多的实测数据。最后，CGOP在“干净”基准上的消融收益确实不算大，这意味着它的价值主要体现在劣质数据环境下，如果你的数据源头已经做了非常严格的质量控制，那这套机制的边际收益可能没那么惊艳。 从更大的视角看，OrthoRec给整个多模态推荐领域留下的财富，不只是一套新的SOTA方法。它更像是一面镜子，照出了过去几年很多模型在“模态越多越好”的惯性思维下的暗礁——多模态特征从来不是免费的，盲目的信任和融合只会让噪声有机会搭便车。未来的推荐系统，不太可能靠单一数据集或单一模态打天下，面对大模型时代日益复杂的用户意图和海量多模态内容，如何像OrthoRec这样保持清醒的几何直觉，先在拓扑结构里找定力，再向多模态信号要增量，会是越来越重要的思考方式。 龙迷三问

下面是龙哥对于大家可能的一些问题的解答：

这篇论文到底在解决什么问题？多模态推荐常默认“模态和谐”，却被视觉标题党与错配语义搅局。

这篇工作最值得看的点是什么？OrthoRec在所有三个数据集上的所有指标均排名第一，相对最优基线提升1.49%至11.28%不等，在NDCG指标上的提升普遍高于Recall指标。

这篇工作的边界或风险在哪里？优点：(1) 提出正交净化机制，几何解耦模态噪声与真实语义，具有理论优雅性；(2) 解耦sigmoid门控打破传统softmax的零和瓶颈，创新性强；(3) 能量保持归一化避免特征幅度衰减；(4) 安全对比学习动态处理矛盾模态对。缺点：(1) 依赖协作锚点的质量，在极端稀疏场景下锚点本身可能不可靠；(2) 超参数较多（τ_r, α, γ, λ_cl等），调参复杂度较高；(3) 未在更多样化的数据集上验证泛化性。

如果你还有哪些想要了解的，欢迎在评论区留言或者讨论~

文章的最后，龙哥照例留三个问题，欢迎大家在评论区聊聊自己的想法。 第一问：OrthoRec把协同过滤嵌入当成判断多模态信号是否可靠的“锚点”，但如果用户交互数据本身就很稀疏，或者用户群体本身有严重的偏见（比如只点贵不点对的），这个锚点还值得信赖吗？ 第二问：论文用余弦冲突分数来判断模态是否与拓扑冲突，这个方法直觉上很优雅。但在短视频、信息流这种多模态内容日更频率极高的场景里，模态冲突的模式会不会更加动态和复杂，静态的几何度量还能hold住吗？ 第三问：如果把OrthoRec的正交净化机制，迁移到如今炙手可热的大模型多模态推荐里（例如用CLIP提取特征后再接大语言模型做排序），你觉得这类几何纠偏式的前处理，是会增加大模型的负担，还是会帮它过滤掉最底层的认知噪声？ 欢迎在留言区写下你的看法，龙哥每条都会认真看。 龙哥点评

论文创新性分数：★★★★☆

提出OrthoRec框架，通过协作引导的正交净化（CGOP）几何解耦多模态特征中的噪声方向，并利用拓扑感知路由混合专家（TAR-MoE）实现无零和约束的解耦融合，配合安全自监督学习（safe-SSL）动态惩罚矛盾模态对的强制对齐。

实验合理度：★★★★☆

Recall@10, Recall@20, NDCG@10, NDCG@20

学术研究价值：★★★★☆

提出OrthoRec框架，通过协作引导的正交净化（CGOP）几何解耦多模态特征中的噪声方向，并利用拓扑感知路由混合专家（TAR-MoE）实现无零和约束的解耦融合，配合安全自监督学习（safe-SSL）。

稳定性：★★★☆☆

现有材料未提供充分的极端条件、重复运行或扰动测试，稳定性暂按中性评价。

适应性以及泛化能力：★★★☆☆

现有材料未完整展示跨数据集、跨场景或分布外实验，泛化能力仍需进一步验证。

硬件需求及成本：★★★☆☆

论文未明确报告FLOPs，训练使用Adam优化器，批大小4096，在Baby数据集上隐维度为64，Sports和Clothing上为128。

复现难度：★★★☆☆

https://github.com/Camilla-jl/Orthorec

产品化成熟度：★★★☆☆

论文验证以研究实验为主，真实部署中的时延、成本、维护和异常场景仍需补充验证。

可能的问题：(1) 依赖协作锚点的质量，在极端稀疏场景下锚点本身可能不可靠；

龙哥从九个维度给这篇论文打个分，纯属个人观点，供大家参考： 创新性：9分。把正交分解用于多模态噪声过滤，并用解耦门控打破零和博弈，思路在推荐领域确实少见，几何直觉很干净。 实用性：7分。代码已开源，三个模块均为轻量设计，工程落地门槛不算高，但在干净数据上的收益相对有限，更适合劣质多模态环境。 理论深度：8分。能量保持归一化解法巧妙，冲突分数贯穿三个模块，全局设计逻辑自洽，但数学证明偏少，更多是经验性设计。 实验设计：9分。消融、抗噪、冷启动、超参敏感性、案例可视化齐全，尤其是噪声鲁棒性实验非常有说服力。 可复现性：8分。代码开源，实验细节详尽，复现难度不大，但对硬件要求较高。 鲁棒性：9分。对多模态噪声有很强的抵抗力，尤其在冷启动场景下表现出色。 可扩展性：7分。主要验证在电商数据上，迁移到其他领域需谨慎。 影响力：8分。挑战了多模态推荐的传统假设，可能引发新一轮研究热潮。 综合评分：8.2分。OrthoRec在多模态推荐领域的创新性和实用性都很突出，值得关注。