← 返回 PaperDaily 大模型与智能体

PRISM新范式：一个模块找回跨品类隐藏偏好，推荐系统告别“偏科”

序列推荐（Sequential Recommendation，SR）的任务是根据用户过去买过、看过、点过的一串东西，猜用户下一个最可能想要什么。

龙哥读论文发布于 2026-08-16 11:00:56 阅读 5 查看原文

#模型架构 #涨点神器 #人工智能 #AI应用

原论文信息如下：

论文标题:
From Overlooked to Explored: Recovering Item Relations via Mixture of Perspectives for Sequential Recommendation 发表日期:
2026年08月发表单位:
Pohang University of Science and Technology, University of Illinois Urbana-Champaign 原文链接:
https://arxiv.org/pdf/2608.11846v1.pdf

注意力机制为何"偏科"？——相似性偏差的发现

序列推荐（Sequential Recommendation，SR）的任务是根据用户过去买过、看过、点过的一串东西，猜用户下一个最可能想要什么。推荐系统得像一个金牌导购，看一眼你购物车里的跑鞋、运动裤和能量胶，就得琢磨出你是要参加马拉松，还是在为一次徒步露营囤装备。用户真正的偏好，其实藏在物品与物品之间的“关系”里。

如今序列推荐的主流方案几乎被Transformer统治，核心武器是自注意力（self-attention）：给序列里的物品两两计算相关程度，让每个物品根据其他物品的重要性来聚拢信息。这个设计的初衷很优雅——既然偏好是从一个一个物品跳转中浮现的，那把两两关系端到端算清楚，总能捕捉到兴趣脉络吧？

但问题恰恰出在这个“算清楚”上。注意力分数的本质是查询向量和键向量的点积相似度，所以它天然偏爱“跟自己像”的物品。论文把这种倾向叫做相似性偏差（similarity bias）：被查询物品的表示，会被那些跟它已经很相似的物品主导，而差异较大、却带着重要偏好线索的物品，往往只分到一点零头权重。换句话说，日常推荐里那种“买了跑鞋就只给你推运动裤”的同质化困境，可能从注意力机制的底层计算开始就注定了。

看图1就一目了然。假设用户最近的序列里有一双跑鞋，标准的自注意力会把大量权重分给“和跑鞋气质相近的裤子”，因为二者同属时尚线；而序列里的水壶、足球、手表这些相对不相似的物品，却被压缩到几乎看不见。结果模型只学到“时尚”一个线索，“运动”和“收藏”这些同样重要的偏好，全都悄无声息地丢失了。注意，这不是某个模型的偶然失误，而是点积注意力机制的结构性倾向——只要是Transformer架构，多多少少都会犯这个毛病。

图1：PRISM的动机示意图。上方为标准的自注意力偏好同质关系，只捕捉到部分偏好；下方为多视角观察序列，每个视角浮现一个不同的线索（如时尚、运动、收藏），合成为更丰富的偏好。

图1：PRISM的动机示意图。（上方）标准的自注意力偏向同质关系，只捕捉到部分偏好；（下方）从多个视角观察序列，每个视角浮现一个不同的线索（如时尚、运动、收藏），最终合成更丰富的偏好。

为了证明这个“偏科”不是玄学，论文设计了两个扎实的实证分析。第一个分析是计算物品的因果重要性：把序列中某个位置的物品遮住（mask），看目标物品的预测概率掉多少，掉得越多说明这个物品对于预测越关键。然后把这个因果重要性和模型给的注意力分数做Spearman秩相关分析，结果如图3所示——SASRec在Toys和Beauty两个数据集上，注意力分数与因果重要性的秩相关竟然是负数，Align@1（注意力排第一的物品恰好是因果重要性第一的物品的比例）也低得可怜。说白了：模型认为重要的物品，和它实际依赖的物品，之间几乎没什么关系。

因果重要性公式：Iⱼ(Sᵘ) = P(y|Sᵘ) − P(y|mask(Sᵘ, j))，即遮住位置 j 的物品后目标概率的下降幅度。

图3：注意力与因果重要性的对齐程度。横轴为各Transformer基线模型，纵轴为Spearman秩相关（左）和Align@1（右），可见所有模型都存在严重的错位。

更扎心的还在后面。论文挑了四类Transformer基线：普通自注意力（SASRec）、校准过注意力的（AC-SASRec）、意图建模的（ICLRec、ICSRec）、注意力头级专家混合的（FAME），结果错位问题在任何一类里都没有本质改善，甚至AC-SASRec在Beauty上的秩相关比SASRec还差。这说明现有模型无论是直接修注意力分数、引入序列意图还是做专家混合，都没能真正解决“相似性偏差”这个底层病灶。

第二个分析是反事实干预实验：直接修改最后一层注意力的logits，分四种工况对比——提升注意力前20%的位置（C1）、随机提升20%（C2）、盲目提升底部20%（C3）、只提升“底部20%里因果重要性排前50%”的位置（C4），然后观察目标物品预测置信度的变化。结果如图2，一个非常有趣的发现是：但凡动了注意力，预测置信度都在涨，哪怕是纯随机扰动（C2）也有不小的涨幅。这说明基线模型的注意力分配和它真正依赖的证据之间已经错位到一定程度，随便把权重重新分一分都能碰巧改善预测。

图2：反事实注意力干预分析。纵轴为置信度变化Δconfidence(%)，四种干预条件C1、C2、C3、C4在多个基线上均带来正向提升，且C4显著高于C3。

更重要的是，C4（精准找回被忽略但因果重要的物品）稳定超过C3（盲提底部20%），说明被忽略的线索不是一个模子刻出来的噪声堆，而是藏着与目标任务强相关的多样化偏好信号。这个发现直接给出了论文的核心主张：既然单一视角的注意力天生会看走眼，那不如把物品关系放到多个视角下重新审理一遍，把被相似性偏差压缩掉的信号一条条捞回来。

PRISM：用多视角透镜“照亮”被忽视的物品关系

带着这个动机，韩国浦项科技大学等机构的研究团队在CIKM 2026上提出了PRISM，全称Perspective-based Relational Insight Synthesis Module，中文可译为“基于视角的关系洞察合成模块”。名字虽然拗口，但思想非常直观：一束白光打进三棱镜，会折射出红橙黄绿青蓝紫的光谱；PRISM也把序列里的物品关系放到K个“视角透镜”（Perspective Lens）下重新观察，每个透镜负责看清一种语义视角下的关系，最后再合成为一束更完整的“偏好白光”。

从架构位置上看，PRISM是一个插在Transformer层之间的旁路模块：上面的Transformer层算完注意力，PRISM接管序列表示，从K个视角重新校准注意力分布，再输出到下一层。整体框架如图4所示，从左到右可以拆成三件套：语义锚路由器、K个视角透镜、关系洞察合成。

图4：PRISM框架图。PRISM对每个物品进行多视角分析，随后进行关系洞察合成。所有可学习参数在透镜之间共享，输出仅因视角不同而不同。

第一件套是语义锚路由器（Semantic Anchor Router）。它的任务是把序列中的每个物品，按语义分散到K个语义组里。具体做法是：把物品表示经过一个带噪声的门控网络算出路由logits，再经过Softmax得到物品对每个语义组的归属比例，论文称之为语义组成比（Semantic Composition Ratio）。训练时注入高斯噪声鼓励路由探索，推理时关掉噪声。最后，直接取归属比例最大的那个组作为该物品的主语义锚（Primary Semantic Anchor，简称PSA），相当于给物品贴上一个“当前视角下最像哪一类”的标签。

语义锚路由器的路由公式：rᵢˡ = hᵢˡWᵍˡ + ηᵢˡ ⊙ Softplus(hᵢˡWⁿᵒⁱˢᵉˡ)，其中η为高斯噪声，⊙为逐元素乘。

第二件套是视角透镜（Perspective Lens），也是整个模块的心脏。第k个透镜专门从第k个语义组的视角重审注意力分布。它先构造一个二值的语义聚焦掩码（Semantic Focus Mask）：把所有主语义锚等于k的物品挑选出来，对应位置置1，其他位置置0。这个掩码对所有查询物品是共享的，所以第k个透镜看的物品集合是固定的。然后，透镜对每个查询物品i，计算它对所有被选中的同组key物品的平均注意力logits，作为“组内关系强度”的增强信号，再用exp(β)保证为非负增强，叠加上去，得到视角引导注意力（Perspective Guided Attention，简称PGA）。

关系增强信号公式：Sᵢⱼˡᐟᵏ = (1/T · Σⱼᐟ Aᵢⱼᐟˡ·Mᵢⱼᐟˡᐟᵏ) · Mᵢⱼˡᐟᵏ，即查询物品i对第k组所有物品的平均注意力水平。

第三件套是关系洞察合成（Relational Insight Synthesis）。每个透镜都产出一个物品表示，K个透镜就有K个表示，不能直接堆着用。PRISM的合成方式很优雅：直接用物品的语义组成比g作为权重，对K个透镜输出做加权求和，再过一个前馈网络。语义组成比高的透镜对最终表示贡献大，低的则削弱——既保留每个物品的多语义归属，又让视角之间不打架。

关系洞察合成公式：hᵢˡᐟᴾᴿᴵˢᴹ = FeedForwardˡ(Σₖ₌₁ᵏ gᵢˡᐟᵏ · zᵢˡᐟᵏ)，以语义组成比为权重融合所有透镜输出。

这里还有一个容易被忽略但很关键的工程细节：所有透镜的可学习参数是一套共享的，包括增强信号里的β和输出线性层。透镜输出之所以不同，纯粹是因为各自看的“语义组”不同，掩码不同。这意味着增加透镜数量K几乎不增加参数量，效率优势直接拉满。

双视图设计：亲和视图与对比视图如何协同工作

看到这里，有心的读者可能已经冒出一个疑问：透镜按语义组把物品分了堆，那是不是又变成“同类聚堆”了？跨类别的偏好线索（比如跑鞋和足球），难道不还是会被丢掉吗？这正是PRISM设计里最妙的地方——双视图机制。

当查询物品i的主语义锚恰好落在透镜k的组号上时，透镜自动工作在亲和视图（Affinity View）；当查询物品不属于透镜k的组时，透镜自动切换到对比视图（Contrast View）。注意，这个切换不需要额外的分支条件——因为掩码是固定的，查询物品属于哪一组，天然就会看到不同的加权聚合结果。

亲和视图做的事情是“同类精修”。想象一个“电子产品”透镜：当查询是笔记本电脑时，这个透镜会强化笔记本→显示器这条同组关系，把“电子产品”这个模糊语义精修成“搭建工作站”这种更具体的概念。同一组里可能有充电器、键盘、平板等不同细分子类，但透镜的目的不是粗暴归并，而是把同一语义光谱下的关联打磨得更精准。

对比视图做的事情却是“跨类捞人”。当查询物品不属于透镜k的组时，透镜会把第k组的“群体平均注意力水平”作为增强信号加回来。这正是点积注意力之前做不好的地方——单个跨组物品和查询物品的点积相似度可能很低，但它们之间存在一种“结构性”的关系：虽然笔记本和背包看起来风马牛不相及，不过从“旅行”视角看，把笔记本塞进背包出发的数字游民，本来就是真实存在的人群。对比视图就是要重新激活这类被点积相似度误解的跨组线索。

更妙的是，每个物品恰好拥有一个亲和视图和K−1个对比视图，两个视图合起来就覆盖了同组和跨组的全部关系面。对比多头注意力“多份点积、各自为政”的做法，PRISM的每个透镜是在注意力级别做显式的视角校准，从机制层面矫正了相似性偏差，而不仅仅是增加表达容量。这个差异是PRISM区别于FAME等所有MoE类方案的本质所在。

不过，双视图机制只是保证了“能看见”，要让模型真正学到好东西，还得靠训练目标兜底。论文为此配了两个辅助损失，第一个是序列级偏好对比损失（Sequence-level Preference Contrastive Learning，SPCL）：拿目标物品相同的用户序列组成正样例对做对比学习，让模型在序列级别对齐偏好目标。但这里有个坑——直接做对比会把两个用户最细节的视角偏好也一起拉齐，抹掉用户的个性。论文用一个叫随机视角掩码（Stochastic Perspective Masking，SPM）的招数：训练时只保留物品的主语义锚视角，随机丢弃非主视角的透镜输出，让对比学习“只对齐目标、不对齐手段”。

SPCL公式：对带掩码的锚序列与正序列表示计算InfoNCE对比损失，负样本为同批次其他序列。

第二个辅助损失是协同一致性损失（Collaborative Consistency Loss，CCL）：毕竟K个透镜接收的是同一个物品集合，每个透镜输出与物品embedding计算相似度分布后，应当对物品空间有一致的解读，不能各说各话、走向分裂。论文让K个透镜两两计算对称KL散度并做加权平均，权重由两个透镜的语义组成比共同决定——只有双方都活跃的透镜才参与对齐，避免把弱视角强行拉来凑数。

总训练目标：L = L_rec + λL_aux，其中L_aux = L_SPCL + L_CCL，λ为权重超参数。

最终的损失函数把推荐任务的标准交叉熵损失与SPCL、CCL两个辅助损失加权合并，一起端到端训练。整套设计不仅能在注意力层面找回丢失的关系，还能在序列级别和视角一致性上双重护航，思路相当完整。

实验验证：七个数据集上的全面超越

评价一个推荐模型，最终还是得看实验。论文的实验规模相当扎实，用上了7个公开基准数据集：Amazon五个子类（Toys、Beauty、Games、Sports和Electronics）、电影数据集MovieLens-1M（ML-1M）以及点评平台Yelp。覆盖了“电商+电影+本地生活”三大场景，数据稀疏度全部在95%以上，难度被拉得很满。

表1：实验中使用的数据集统计信息，包括用户数、物品数、交互数、平均序列长度和稀疏度。

主实验结果见表2。PRISM在7个数据集、HR@10/20和NDCG@10/20四项指标上，全线超过SASRec、AC-SASRec、ICLRec、ICSRec、FAME等现有最强基线，而且在5个随机种子下做了配对t检验，显著性用*标出，p值都小于0.05。特别值得注意的对比是FAME——它本来就是用专家混合（Mixture of Experts，MoE）建模多样性的方法，PRISM依然能做到全面压制，这直接验证了“多视角校准”比“单纯增加专家”更对症下药。

表2：不同方法在Top-K推荐上的性能对比。PRISM在七个数据集上全面领先现有基线，*表示基于5个随机种子的配对t检验p值小于0.05。

消融实验也做得清楚（表3）。把SPCL或CCL任意一个去掉，性能普遍回落；把对比视图或亲和视图单独移除，也各自带来损伤。最有信息量的结论是：单独去掉对比视图比单独去掉亲和视图掉点更多。这恰恰从正面验证了论文的核心主张——被相似性偏差压制的异构关系，正是PRISM最大的增量来源。

表3：PRISM训练目标的消融研究（Toys和ML-1M数据集）以及双视图设计的消融对比。

除了常规指标，论文还做了几个“加分项”级别的深度分析。图6用t-SNE把物品embedding按主语义锚PSA着色（K=4），可以看到不同语义组的物品形成了清晰可分的聚类，说明路由学到的语义分组确实对应着结构化的物品类型，而不是纯随机散点。

图6：物品嵌入按主语义锚PSA分配着色的t-SNE投影（K=4），不同颜色对应不同语义组。

图7针对冷启动和长序列两个现实场景做了分组分析。在Beauty和ML-1M上，PRISM不仅整体更强，在极短序列（用户只有一两次交互的冷启动阶段）和超长序列上的领先幅度更大。冷启动一直是推荐系统的老大难，PRISM能在信息极少的情况下还能靠多视角把关系兜住，这个能力对新产品上线、新用户注册等真实业务场景是实打实的利好。

图7：冷启动与长序列场景下的性能分析（Beauty和ML-1M数据集），PRISM在极短序列和超长序列上均保持领先。

为了验证PRISM真的在捕捉“用户真实偏好”而非“序列表面相似度”，论文还设计了两个很有意思的分析。一个是在ML-1M上对真实用户和物品做模拟分析，通过mask中间“桥梁物品”来观察模型置信度变化，验证PRISM是否真的学会了跨语义组的桥接关系。另一个是把测试样本分成“常规子集”（序列与目标物品相似度高，目标偏好从序列里直接可见）和“新颖子集”（相似度低，目标偏好藏在深层关系里）。表4和表5的结果显示，PRISM在两个子集上都有提升，而且在新颖子集上的增益更大——说明它确实挖到了那些隐身的关系信号。

表4：真实用户与物品ID上的排序性能与敏感性分析（ML-1M），通过遮罩包含目标所需跨语义组桥接体裁的“桥梁物品”来观察置信度变化。

表5：常规（序列与目标高相似度）与新颖（低相似度）子集上的性能对比，检验模型在目标偏好未明确呈现时的鲁棒性。

效率方面，因为所有透镜共享参数，PRISM并没有变成吃算力的吞金兽。表7把各组件的时间和空间复杂度逐一拆开，核心都是线性复杂度；图8则给出了Toys上的实测曲线，PRISM的模型大小、收敛所需训练时间和单次推理时间和FAME基本持平甚至更优，但最终效果却高出一个身位。对于算力紧张的中小团队来说，这种“增效果不增成本”的特性极其有吸引力。

图8：Toys数据集上性能与（a）模型大小、（b）收敛训练时间、（c）推理时间的对比，PRISM以更低的成本实现更高的推荐精度。

表7：PRISM各组件的复杂度分析，额外开销均保持在可接受的线性范围内。

超参数敏感性方面，图9给出了透镜数量K、损失权重λ和视角丢弃率ρ的扫描结果。整体来看，K在4到8之间都能保持稳定优势，λ和ρ也有较宽的容错范围，不至于“一步调错就崩盘”。对工程师来说，能少几个需要精细调节的旋钮，本身就是排雷成本的下降。

图9：超参数K（透镜数量）、λ（损失权重）和ρ（视角丢弃率）的影响分析。

从分析到落地：PRISM的实用价值与启示

看完实验，来聊点实际的。

对普通从业者来说，PRISM最大的价值不是“又多了一个SOTA”，而是它提供了一个几乎可以无脑植入的“补丁”思路：无论底层序列推荐模型是SASRec还是更强的变体，PRISM模块往Transformer层间一插，配上两个辅助损失训练，就能稳定涨点。再加上参数共享、推理零额外门控、复杂度线性，工程上几乎没有拒绝它的理由。论文也开源了完整的PyTorch实现，在Beauty数据集上给了可直接跑通的训练命令，复现门槛很低。

从应用场景看，PRISM的高光场景是电商、内容社区、短视频这类交互序列长、品类跨度大的产品。传统模型容易困在“同类连带推荐”的小圈子里——买了跑鞋就推运动裤，买了手机就推手机壳。PRISM通过对比视图把跨品类线索捞起来，比如给买了露营装备的用户推蓝牙音箱，给刷过编程教程的用户推机械键盘。这类推荐带给用户的惊喜感和转化潜力，通常比重复推同类强得多。

从研究意义上说，这篇论文的启发可能超出推荐系统本身。任何用点积计算注意力的模型，包括NLP里的Transformer、多模态模型里的cross-attention，都可能存在类似“相似性偏差”的结构盲区。PRISM给出了一条清晰的解决路径：用显式的多视角掩码加注意力校准，去修正点积注意力的系统性偏向。这条思路能不能迁移到其他领域，非常值得后续工作尝试。

当然，也需要冷静看待：PRISM属于“问题清晰、方案对症”的增量式创新，不是颠覆性突破；效果提升也不是翻倍级别的科幻剧情，而是普遍几个百分点的相对提升。但在序列推荐这个极度内卷的领域，能在七个数据集上实现稳定全面涨点，本身就说明方法的有效性经得起检验。能看到这样从第一性原理出发、把问题做透的工作，确实让人对序列推荐这个方向又多了几分信心。

龙迷三问

下面是龙哥对于大家可能的一些问题的解答：

这篇论文到底在解决什么问题？韩国浦项科技大学联合UIUC提出PRISM模块，通过多视角透镜校准自注意力，解决相似性偏差导致的异质物品关系被忽略问题，在七个真实数据集上全面超越现有最强序列推荐模型，代码已开源。

这篇工作最值得看的点是什么？PRISM在所有七个数据集和所有指标上均一致优于所有基线方法，H@20相对提升4.29%-8.77%，N@20相对提升4.16%-9.39%，且参数更少、训练更快。

这篇工作的边界或风险在哪里？优点：(1) 通过实证分析揭示了自注意力中的相似性偏差问题，具有扎实的动机；(2) 双视图设计（亲和视图+对比视图）简洁有效，能同时处理同质和异质关系；(3) 参数共享设计保证了高效性；(4) 在七个数据集上一致取得最优性能。缺点：(1) 需要调节的透镜数K、损失权重λ、温度τ等超参数较多；(2) 对K的选择较为敏感，K=6时性能反而下降；(3) 方法复杂度随K线性增长，在超长序列上可能面临效率挑战。

如果你还有哪些想要了解的，欢迎在评论区留言或者讨论~

龙哥点评

论文创新性分数：★★★★☆

提出PRISM模块，通过多个视角透镜（Perspective Lenses）校准自注意力，同时细化同质关系并恢复被相似性偏差抑制的异质关系，以全面捕捉用户偏好。

实验合理度：★★★★☆

Hit Rate (H@5, H@10, H@20) 和 Normalized Discounted Cumulative Gain (N@5, N@10, N@20)

学术研究价值：★★★★☆

提出PRISM模块，通过多个视角透镜（Perspective Lenses）校准自注意力，同时细化同质关系并恢复被相似性偏差抑制的异质关系，以全面捕捉用户偏好；更关键的是问题定义是否可复用到同类任务。

稳定性：★★★☆☆

现有材料未提供充分的极端条件、重复运行或扰动测试，稳定性暂按中性评价。

适应性以及泛化能力：★★★☆☆

现有材料未完整展示跨数据集、跨场景或分布外实验，泛化能力仍需进一步验证。

硬件需求及成本：★★★☆☆

PRISM层的时间复杂度为O(T²Kd + TKd²)，空间复杂度为O(K(T+d)²)，随透镜数K线性增长。在Toys数据集上，K=4时训练时间20.99秒/epoch，推理时间4.13秒，峰值显存3.1GB。

复现难度：★★★☆☆

https://github.com/327aem/PRISM/

产品化成熟度：★★★☆☆

论文验证以研究实验为主，真实部署中的时延、成本、维护和异常场景仍需补充验证。

可能的问题：，具有扎实的动机；(2) 双视图设计（亲和视图+对比视图）简洁有效，能同时处理同质和异质关系；(3) 参数共享设计保证了高效性；(4) 在七个数据集上一致取得最优性能。缺点：(1) 需要调节的透镜数K、损失权重λ、温度τ等超参数较多；(2) 对K的选择较为敏感，K=6时性能反而下降；

主要参考文献

[1] Kim J, Lim J, Kweon W, et al. From Overlooked to Explored: Recovering Item Relations via Mixture of Perspectives for Sequential Recommendation[C]//Proceedings of the 35th ACM International Conference on Information and Knowledge Management (CIKM '26). ACM, 2026.

[2] PRISM 开源代码：https://github.com/327aem/PRISM/

[3] 论文原文：https://arxiv.org/pdf/2608.11846v1.pdf

*本文仅代表个人理解及观点，不构成任何论文审核或者项目落地推荐意见，具体以相关组织评审结果为准。欢迎

*本文仅代表个人理解及观点，不构成任何论文审核或者项目落地推荐意见，具体以相关组织评审结果为准。欢迎就论文内容交流探讨，理性发言哦～想了解更多原文细节的小伙伴，可以点击"阅读原文"，查看更多原论文细节哦！