[论文解读] Probabilistic Concept Bottleneck Models

Eunji Kim, Dahuin Jung+3 more|arXiv (Cornell University)|Jun 2, 2023

Explainable Artificial Intelligence (XAI)被引用 6

一句话总结

本文提出概率概念瓶颈模型（Probabilistic Concept Bottleneck Models, ProbCBM），一种新颖的可解释机器学习框架，通过概率嵌入建模概念预测中的不确定性。通过捕捉因视觉上下文变化导致的概念存在模糊性，ProbCBM 提升了解释的可靠性，并实现了不确定性感知的分类预测，实证结果表明其在鲁棒性方面表现更优，并可通过基于不确定性的概念优先级排序实现高效的用户-模型协同干预。

ABSTRACT

Interpretable models are designed to make decisions in a human-interpretable manner. Representatively, Concept Bottleneck Models (CBM) follow a two-step process of concept prediction and class prediction based on the predicted concepts. CBM provides explanations with high-level concepts derived from concept predictions; thus, reliable concept predictions are important for trustworthiness. In this study, we address the ambiguity issue that can harm reliability. While the existence of a concept can often be ambiguous in the data, CBM predicts concepts deterministically without considering this ambiguity. To provide a reliable interpretation against this ambiguity, we propose Probabilistic Concept Bottleneck Models (ProbCBM). By leveraging probabilistic concept embeddings, ProbCBM models uncertainty in concept prediction and provides explanations based on the concept and its corresponding uncertainty. This uncertainty enhances the reliability of the explanations. Furthermore, as class uncertainty is derived from concept uncertainty in ProbCBM, we can explain class uncertainty by means of concept uncertainty. Code is publicly available at https://github.com/ejkim47/prob-cbm.

研究动机与目标

• 为解决现有概念瓶颈模型（CBM）因视觉数据中概念存在模糊性而导致的可靠性问题。
• 建模由于多样化视觉上下文（如部分遮挡或颜色变化）引起的概念预测不确定性。
• 通过不仅基于预测概念，还基于其关联不确定性的解释，提升模型的可解释性。
• 基于概念层面的不确定性，实现不确定性感知的分类预测。
• 通过识别高不确定性概念，支持用户与模型的交互，实现高效干预。

提出的方法

• ProbCBM 使用概率嵌入表示概念，其中每张图像被映射为概念嵌入的概率分布，而非确定性标签。
• 模型采用两阶段架构：首先预测概率概念嵌入，然后将这些嵌入聚合为类别嵌入以进行最终分类。
• 通过概率嵌入的方差量化概念不确定性，方差越大表示概念存在的模糊性越高。
• 类别不确定性源自概念预测的不确定性，从而可通过概念层面的不确定性解释预测置信度。
• 模型通过允许用户固定概念预测或其不确定性，支持概念干预，从而降低整体不确定性并提升分类准确率。
• 该框架通过交叉熵损失进行分类端到端训练，并引入概率一致性损失以保持概念嵌入中不确定性结构的稳定性。

实验结果

研究问题

• RQ1 视觉上下文多样性在多大程度上影响现有 CBM 框架中概念预测的模糊性？
• RQ2 概率概念嵌入能否有效建模由于视觉线索模糊导致的概念存在不确定性？
• RQ3 建模概念不确定性在多大程度上提升了模型解释的可靠性？
• RQ4 在统一的概率框架下，类别不确定性能否通过概念层面的不确定性得到有意义的解释？
• RQ5 基于不确定性的概念优先级排序在用户-模型协同修正中有多高效？

主要发现

• ProbCBM 成功建模了由视觉上下文变化（如身体部位缺失或颜色偏移）引起的概念不确定性，模糊情况下观察到更高的不确定性。
• 在数据增强下，尤其是随机裁剪引入视觉模糊时，模型的不确定性估计显著增加。
• 基于最大不确定性的概念干预相比随机干预顺序，能更快更有效地提升分类准确率。
• 概念干预后，类别不确定性降低，模型预测得到纠正，证明了不确定性在人类引导模型修正中的实用性。
• 即使概念标签存在不完美或不一致，ProbCBM 仍通过建模不确定性维持可靠解释，降低对完美标注的依赖。
• 当所有预测错误的概念均按不确定性优先顺序进行干预时，模型实现 100% 的分类准确率，证实了不确定性引导修正的有效性。