[论文解读] Rethinking Concept Bottleneck Models: From Pitfalls to Solutions

Merve Tapli, Quentin Bouniot+3 more|arXiv (Cornell University)|Mar 5, 2026

Explainable Artificial Intelligence (XAI)被引用 0

一句话总结

CBM-Suite 提出一种基于熵的概念相关性度量，引入非线性概念编码器，并利用教师引导蒸馏来缩小准确率差距，同时对背骨网络–视觉语言模型进行了广泛评估以提升CBM的可解释性与性能。

ABSTRACT

Concept Bottleneck Models (CBMs) ground predictions in human-understandable concepts but face fundamental limitations: the absence of a metric to pre-evaluate concept relevance, the "linearity problem" causing recent CBMs to bypass the concept bottleneck entirely, an accuracy gap compared to opaque models, and finally the lack of systematic study on the impact of different visual backbones and VLMs. We introduce CBM-Suite, a methodological framework to systematically addresses these challenges. First, we propose an entropy-based metric to quantify the intrinsic suitability of a concept set for a given dataset. Second, we resolve the linearity problem by inserting a non-linear layer between concept activations and the classifier, which ensures that model accuracy faithfully reflects concept relevance. Third, we narrow the accuracy gap by leveraging a distillation loss guided by a linear teacher probe. Finally, we provide comprehensive analyses on how different vision encoders, vision-language models, and concept sets interact to influence accuracy and interpretability in CBMs. Extensive evaluations show that CBM-Suite yields more accurate models and provides insights for improving concept-based interpretability.

研究动机与目标

• 评估 Concept Bottleneck Models (CBMs) 在可解释性和准确性方面为何存在困难。
• 开发一个预训练的概念相关性度量，以选择有意义的概念。
• 引入架构变更以强制非线性和概念依赖性。
• 通过基于蒸馏的训练方案缩小准确率差距。
• 系统性研究不同视觉编码器和视觉-语言模型对 CBM 性能的影响。

提出的方法

• 用基于熵的度量定义概念的Goodness，使用VLM的图像/文本嵌入在训练前评估概念集合的相关性。
• 通过在两个线性层之间插入ReLU来实现非线性概念编码器，确保概念瓶颈被利用。
• 对CBM分类器应用从线性骨干探针（教师）到CBM分类器的蒸馏损失，以缩小准确率差距。
• 在最终分类器上使用弹性网正则化，以促进可解释的、稀疏的概念使用。
• 在多样的视觉骨干和VLM上进行评估，分析编码器选择如何影响准确性和可解释性。

实验结果

研究问题

• RQ1 在CBM训练前，如何量化给定概念集合对数据集的内在相关性？
• RQ2 在概念编码器中增加非线性是否能防止绕过概念瓶颈？
• RQ3 从不透明的教师模型进行知识蒸馏能否在保持可解释性的同时缩小CBM的准确性差距？
• RQ4 不同的视觉编码器和视觉-语言模型如何相互作用以影响CBM的准确性和可解释性？

主要发现

• 一个任务无关和任务相关的基于熵的Goodness of Concepts度量能可靠地区分相关的概念集合与无关或随机的集合。
• 仅线性的CBMs即使在概念不相关时也能达到较高的准确性，表明概念泄漏和可解释性差。
• 非线性概念编码器是必要的，以确保预测依赖于概念，在使用无关概念时性能会下降。
• 从教师模型的蒸馏显著提高CBM的准确性并缩小与不透明基线的差距。
• 更强的视觉骨干和某些VLM（如Perc. Enc. 与 SigLIP 或 CLIP变体）在各数据集上提高了CBM的性能。
• CBM-Suite在若干数据集（CUB200、CIFAR100、Places365）上实现了具有竞争力甚至优越的结果，并凸显了骨干- VLM 配对的重要性。