← 返回 PaperDaily 视觉与图像

Fraunhofer研究所新作：用「概念流树」替代扁平瓶颈，信息泄露减少40%！

概念瓶颈模型(CBM)一直在“可解释性”与“信息泄露”间走钢丝——模型学会用“车门”、“挡风玻璃”来识别猫？Fraunhofer研究所这篇论文用“层次化决策树”把概念空间拆成多个局部子空间，让每个预测只走自己的专属路径，从根本上堵死了信息泄露的后门！效果还跟平铺直叙的CBM不相上下。

龙哥读论文 阅读 4 查看原文
#模型架构 #多模态 #大语言模型
Fraunhofer研究所新作：用「概念流树」替代扁平瓶颈，信息泄露减少40%！
🐉 龙哥读论文知识星球来了！
公众号每日8篇拆解不够看？星球无上限更AI领域论文、资讯、招聘、招博、开源代码，一站式干货，每日2分钟刷完即赚！ 👇扫码加入「龙哥读论文」知识星球，前沿干货、实用资源一站式拿捏～ xingqiu_header

龙哥推荐理由：
概念瓶颈模型(CBM)一直在“可解释性”与“信息泄露”间走钢丝——模型学会用“车门”、“挡风玻璃”来识别猫？Fraunhofer研究所这篇论文用“层次化决策树”把概念空间拆成多个局部子空间，让每个预测只走自己的专属路径，从根本上堵死了信息泄露的后门！效果还跟平铺直叙的CBM不相上下。


原论文信息如下：
论文标题：
Concept Flow Models: Anchoring Concept-Based Reasoning with Hierarchical Bottlenecks
发表日期：2026年06月
发表单位：Fraunhofer Institute for Open Communication Systems, Freie Universität Berlin
原文链接：https://arxiv.org/pdf/2606.19489v1.pdf
开源代码链接：未提供
项目链接：https://openreview.net/forum?id=TNYLf65I3I

引言

深度学习模型在很多领域取得了令人惊叹的成果，但其内部的决策过程往往像是一个“黑箱”。为了解决这个问题，概念瓶颈模型（CBM）应运而生。CBM的思路是让模型先预测一系列人类可理解的概念（比如“有翅膀”、“有羽毛”），然后再基于这些概念去预测最终的类别。这听起来很合理。
然而，CBM有一个致命的“后门”——信息泄露。模型在学习概念特征时，可能会偷偷把一些与最终类别相关的无关信息也编码进去。比如，模型在识别猫时，可能不是依赖于“有胡须”，而是莫名其妙地激活了“车门”这类概念。更可怕的是，有研究指出，当概念数量接近图像嵌入维度时，哪怕用完全随机的“概念词”，模型照样能取得很高的分类准确率！这就尴尬了——模型表现很好，但你完全无法信任它的解释。
现有的解决思路主要有两种：一是减少概念数量，二是通过正则化强制稀疏化权重。但这两种方法都有局限性，尤其是当任务复杂度增加时，信息泄露的风险又会卷土重来。那么，有没有一种结构化的方法，能从根本上限制模型“偷看”无关概念呢？

告别“黑箱”：概念瓶颈模型的可解释性困境与信息泄露问题

为了更直观地理解CFM要解决的问题，我们首先看看传统CBM和其后基于VLM改进的变体的工作原理。
图1：基于概念的模型结构示意图：原始的CBM（左）、后验CBM（中）以及我们提出的CFM（右）。圆角矩形表示概念，梯形表示特征提取器、圆圈表示类别、$\hat{z}$ 表示特征嵌入、$C$ 表示概念矩阵。
图1：基于概念的模型结构示意图：原始的CBM（左）、后验CBM（中）以及我们提出的CFM（右）。
原始的CBM（图1左）先通过一个独立的网络预测出所有概念的得分，然后喂给一个线性分类器做最终决断。这种方法的好处是概念可以直接编辑和干预，但问题也很明显：人工标注成本极高，且信息泄露依然存在。后验CBM（图1中）利用CLIP这样的VLM来自动生成概念嵌入，大大降低了人工标注成本。但是，所有概念都在一个“扁平”的瓶颈层中，模型可以随心所欲地调用任何概念来做预测。
当概念数量接近嵌入维度时，信息泄露变得尤其严重。这就像一个学生考试，本来只能看教材（合理概念）答题，结果老师给了他一本“考试宝典”（包含了所有概念+噪音），他可以通过找书里的关键词和题目答案之间的“巧合关系”来猜出答案，而并不需要真正理解概念背后的意义。这就是信息泄露的本质。
三个小黄人在很兴奋地鼓掌

创新思路：概念流模型（CFM）如何用层次化决策树重塑推理路径

概念流模型CFM的核心思想非常巧妙：不再使用一个扁平的瓶颈层，而是构建一棵层次化的概念驱动决策树。 想象一下，你想判断一张图片是不是“猫”。CBM的做法是，把所有概念全部摆在你面前，让你从里面找出与猫相关的。而CFM的做法是，先引导你进入“动物”这个子空间，再引导你进入“哺乳动物”这个子空间，然后才是“家养宠物”，最后才判断是不是“猫”。在这个过程中，你只需要在每个节点关注当前子空间内的局部概念，根本不需要接触到“车辆”那一堆完全不相关的概念！
具体来说，CFM的构建分为三个阶段：
图2：构建概念流模型：整个框架包含三个阶段：（1）层次提取与语义标注：从CLIP嵌入中构建决策层次，剪枝低分叉节点，并使用大语言模型标记内部节点。（2）概念生成与分配：基于LLM生成候选概念，选择高判别性的概念，并分配到层次瓶颈中。（3）可微概念流训练：通过层次路径遍历损失对模型进行端到端训练，使预测能够通过概念权重传递形成可追溯的决策路径。
图2：构建概念流模型：整个框架包含三个阶段。
阶段一：层次提取与语义标注。这一步的目标是生成一个可解释的类层次结构。CFM利用CLIP模型提取所有类别的平均图像嵌入，然后用层次聚类算法将这些嵌入聚成一棵树。为了不让树长得太深，论文还引入了基于距离百分位的剪枝策略。最后，使用GPT-4等大语言模型给树上的每个内部节点起一个语义标签，比如“动物”和“车辆”。
阶段二：概念生成与分配。利用LLM为每个叶子类别生成候选概念，然后分配到内部节点。为了确保每个节点上的概念集是高效且互斥的，作者采用了Lasso回归来选择最具区分力的概念，并通过混合分配策略（考虑子节点数）来决定每个节点分配多少概念。
阶段三：可微概念流训练。这是模型的训练阶段。每个节点上都有一个可训练的温度参数和一组可训练的概念权重。输入图像经过CLIP编码后，在每个节点上计算向各个子节点转移的概率。最终预测的类别概率就是从根节点到目标叶子节点路径上所有转移概率的乘积。

理论奠基：层次瓶颈如何成为信息泄露的“天然屏障”？

除了直观的直觉，论文作者还从理论上证明了CFM对信息泄露的抑制作用。

命题4.1：信息泄露屏障

论文的核心观点是：在扁平CBM中，只要总概念数量与嵌入维度相当，模型就能用随机概念实现高准确率。 而在层次化的CFM中，要使每个内部节点也能通过随机概念实现局部线性可分，所需要的概念总数是扁平CBM的m倍（m为内部节点数）。换句话说，在同样的概念预算下，CFM让模型利用随机概念的“灰色地带”变得异常昂贵，从而迫使模型不得不去依赖真正有含义的语义概念。

命题4.2：语义概念稀疏性

假设树结构是语义连贯的，那么每个内部节点的任务就简化为在一个很小的子空间内做区分。这就意味着只需很少的语义概念就能完成局部决策。因此，在CFM中，每个预测所使用的概念预期数量仅为O((R/m)*log(b)m)，而扁平CBM是O(R)。 随着任务复杂度的增加（m增大），CFM的每类预测概念消耗量还会进一步下降，从而有效抑制了信息泄露。

实验验证：在随机概念与语义概念两种情境下，CFM表现如何？

龙哥特别欣赏这篇论文的实验设计：它没有上来就秀SOTA，而是先用“随机概念”这个试剂盒，彻底暴露CFM的信息泄漏免疫力，再在语义概念上验证承诺没有打折。
场景一：随机概念
在CIFAR-10上，用从字典里随便抽的短语作为随机概念，固定概念预算，对比CFM和CBM。图3清晰展示了四组实验的结果：
图3：随机概念下的信息泄露实验。 (A) 随着总概念预算R增加，CFM和CBM的准确率对比（相同R）。 (B) CFM每个节点分配R个概念（总计R×m）时与CBM（总计R）的对比。 (C) 在R=60下，CFM内部节点数量对准确率的影响。 (D) 在R=60下，Elastic Net正则化强度对CBM准确率的影响。所有实验重复3次用不同种子。
图3：随机概念下的信息泄露实验。
在图3(A)中，CBM随着R增大准确率飙升，仅用64个随机概念就达到90%，接近线性探针上限。而CFM在同一预算下准确率只有75%左右，充分证明了它对随机概念的“免疫力”。图3(B)则验证了理论：当CFM的每个节点都拿到R个概念（总概念数为R×4）时，其性能曲线才与CBM重合。图3(C)显示，内部节点越少，概念共享越充分，信息隔离越弱，准确率也越高。图3(D)展示CBM即使叠加Elastic Net稀疏正则化，效果也远不如CFM的结构性稀疏。
场景二：语义概念
当然，实际应用当然要用语义概念。表1给出了五个基准上的全面对比。
表1：不同方法在五个基准数据集上的对比。报告有效概念数(NEC)、分类准确率(Acc)和语义改进指标(SIR)。结果来自3次运行的均值。粗体为每列最佳（排除线性探针）。完整标准差见附录B.5。
表1：不同方法在五个基准数据集上的全面对比。
从表中可以读出几件重要的事：第一，在准确率方面，CFM与PCBM（后验CBM）几乎持平，甚至在某些数据集上略高，说明层次化结构没有牺牲性能。第二，在有效概念数NEC上，CFM大幅低于PCBM，比如在CIFAR-10上，CFM只用了3.6个有效概念，而PCBM用了8.2个。第三，在SIR指标上，CFM总是更高，意味着CFM确实更依赖于语义概念，信息泄露更少。比如在CUB-200上，CFM的SIR达到127.1%，而PCBM只有38.4%。
此外，表2还比较了三种层次构建方法：随机树、基于权重聚类的NBDT、以及本文基于CLIP聚类的策略。CLIP方法在所有数据集上精确度最高，证明了语义一致的树结构很重要。
表2：三种层次构建策略的准确率(%)对比：随机、NBDT（权重）和本文的CLIP诱导方法。每个方法在概念选择前构建不同的树层次。粗体为每列最高准确率。
表2：三种层次构建策略对比。
不错不错

深入挖掘：消融实验与决策路径可视化，揭示CFM的“内在逻辑”

如果只看表1，你可能会怀疑：CFM的优势仅仅是NEC更低吗？作者提供了消融实验和可视化来打消这些疑虑。
消融实验。表4展示了从完整CFM中去掉不同组件（如温度缩放、概念分配、路径偏置等）后的性能变化。每一个组件都对最终效果有正向贡献，证明了设计的完备性。表3比较了不同的概念选择方法（Lasso、Top-k随机、PCA降维等），Lasso方法始终最优。
表4：模型架构的消融研究。准确率以%报告。粗体为每列本文模型的准确率。
表4：模型架构消融研究。
表3：概念选择方法在三个基准数据集上的对比。粗体为最高准确率(%)。
表3：概念选择方法对比。
决策路径可视化。图5展示了一个CIFAR-10“猫”样本的CFM决策路径。路径从根节点开始，经过“live creatures vs. not alive”分支，然后进入“land animals”，再进入“mammals”和“household pets”，最后到达“cat”。每一步都激活了与当前局部决策高度相关的概念，例如根节点激活了“有眼睛”、“有嘴巴”等基础生物概念。而CBM在同一张图上的解释是一大堆概念的大杂烩，包括“会游泳”、“有鳞片”等矛盾概念，混乱不堪。
图5：CFM决策路径可视化。上：CIFAR-10“猫”样本的CFM和CBM解释。下：CUB-200中选样样本的CFM决策路径。所有模型使用CLIP-ViT-L/14骨干，概念由GPT-4.1-mini生成。每个节点列出CFM的最高激活前3个概念，CBM列出前9个。
图5：CFM决策路径可视化。
图7和表9进一步提供了包括输错样本在内的更多案例分析。其中特别有意思的是，当一个狗类样本被误判为狼时，路径显示在最后一层之前的所有分支概率都很高，但最终偏置导致选择了狼，这种可追溯性在扁平CBM中是做不到的。
图7：用于定性分析的输入样本。跨三个数据集分析四个案例的CFM决策路径。详细路径和概念激活见表9。
图7：用于定性分析的输入样本。
表9：图7中各样本的决策路径和概念激活。每行显示一次转移、转移概率和最高激活概念（按权重）。CFM限制每个转移只使用局部概念子集。
表9：决策路径和概念激活详情。
我懂了

龙迷三问

下面是龙哥针对大家可能的一些问题的解答：

CFM和CBM最核心的区别是什么？CBM使用一个扁平的概念瓶颈层，所有概念对每个类都是可见的，模型可以随意调用任何概念来做预测，容易产生信息泄露。CFM则构建一棵层次化概念决策树，每个内部节点只使用一小部分局部概念，每个类别的预测只沿着自己从根到叶的路径进行，路径外的概念根本不会参与决策，从而从结构上抑制了信息泄露。

文章中提到的NEC和SIR分别代表什么？NEC是Number of Effective Concepts（有效概念数）的缩写，衡量每个预测平均使用了多少个概念。SIR是Semantic Improvement over Random Concepts（语义改进指标）的缩写，计算公式为(acc_sem - acc_rand)/acc_rand × 100%，数值越大说明模型越依赖于语义概念、信息泄露越少。

CFM的层次树必须手动构建吗？不需要手动构建。CFM通过CLIP图像嵌入进行凝聚聚类自动生成类层次结构，再用LLM自动给内部节点打标签。整个过程只需要少量人工审核，完全可以自动化。

如果你还有哪些想要了解的，欢迎在评论区留言或者讨论~

龙哥点评

论文创新性分数：★★★★✰

用层次化决策树来替代扁平概念瓶颈，思路新颖且基础；以“信息泄露屏障”为理论出发点，构建了完整的自动化流程。

实验合理度：★★★★✰

设计了随机概念和语义概念两种对比场景，充分验证理论；覆盖了5个常见数据集，消融和可视化都很扎实。不足是未包含最新的概念发现方法对比，但现有对比已足够支撑论点。

学术研究价值：★★★★★

开创了用层次化结构对抗信息泄露的新范式，为概念模型的可信度提供了理论基础和实用工具。后续可研究更复杂的树结构、动态路径选择等问题，研究前景广阔。

稳定性：★★★✰✰

CFM依赖CLIP聚类生成的树结构，如果VLM与目标域差异较大，树的质量可能下降。不过论文在多种数据集上表现稳健。

适应性以及泛化能力：★★★★✰

在通用对象、动作识别、细粒度鸟类和ImageNet-1K上都有验证。在细粒度数据集上CFM的SIR优势尤其明显。但对极端领域还需进一步测试。

硬件需求及成本：★★★★✰

CLIP提取特征只需一次前向，树节点上的计算量很小，远小于早期CBM训练整个概念预测器。推理时可并行计算路径概率，效率很高。

复现难度：★★✰✰✰

论文未提供开源代码，且依赖多步流程，复现需搭建整个pipeline。好在每个步骤都有清晰描述，有经验的工程师应能复现。

产品化成熟度：★★★✰✰

适用于需要高可解释性的应用，但树结构固定后无法动态扩展新类，需要重新扫描。在快速演变的产品环境中可能需要配合增量学习机制。

可能的问题：层次树的构建依赖静态类标签，无法直接处理开放集场景；Lasso选择概念时忽略了类别间的共生模式；论文没有提供与最新概念发现方法的直接对比，略显遗憾。


主要参考文献

[1] Koh et al., "Concept bottleneck models", ICML 2020.
[2] Yuksekgonul et al., "Post-hoc concept bottleneck models", NeurIPS 2022.
[3] Yan et al., "CLIP says: Can we use two random concepts for interpretability?", NeurIPS 2023.
[4] Shang et al., "Incremental concept discovery for concept bottleneck models", NeurIPS 2024.
[5] Srivastava et al., "Number of effective concepts: a measure of semantic grounding", ICML 2024.
[6] Oikarinen et al., "Label-free concept bottleneck models", ICLR 2023.
[7] Wan et al., "Neural-backed decision trees", NeurIPS 2020.

*本文仅代表个人理解及观点，不构成任何论文审核或者项目落地推荐意见，具体以相关组织评审结果为准。欢迎就论文内容交流探讨，理性发言哦～ 想了解更多原文细节的小伙伴，可以点击"阅读原文"，查看更多原论文细节哦！       

end
概念瓶颈模型的“信息泄露”让你头疼？CFM用层次化树结构把无关概念挡在门外！想第一时间获取更多前沿论文的深度拆解？
欢迎加入龙哥读论文粉丝群，扫描下方二维码或者添加龙哥助手微信号加群：kangjinlonghelper。一定要备注：研究方向+地点+学校/公司+昵称（如 少样本学习+上海+复旦+龙哥），根据格式备注，可更快被通过且邀请进群。
『龙哥读论文』微信群目前包含：图像处理、大模型及智能体、自动驾驶及机器人、AI医疗及AI金融5个群，总有一款适合你！
wechat_helper dianzan
转发文章 微博 X LinkedIn Facebook
龙哥读论文 · PaperDaily

本文基于龙哥读论文 PaperDaily 数据库整理，结合论文原文与工程视角进行解读。