[论文解读] This Looks Like Those: Illuminating Prototypical Concepts Using Multiple Visualizations

Chiyu Ma, Brandon Zhao+2 more|arXiv (Cornell University)|Oct 28, 2023

Explainable Artificial Intelligence (XAI)被引用 4

一句话总结

本文提出ProtoConcepts，一种通过用同一原型概念的多个可视化表示替代单张图像原型，来提升基于原型的图像分类可解释性的方法。通过展示多个训练图像块之间的共享视觉特征，模型能够更清晰地表达语义含义（例如颜色或形状），从而在保持相近分类准确率的同时，显著提升人类对模型推理过程的理解。

ABSTRACT

We present ProtoConcepts, a method for interpretable image classification combining deep learning and case-based reasoning using prototypical parts. Existing work in prototype-based image classification uses a ``this looks like that'' reasoning process, which dissects a test image by finding prototypical parts and combining evidence from these prototypes to make a final classification. However, all of the existing prototypical part-based image classifiers provide only one-to-one comparisons, where a single training image patch serves as a prototype to compare with a part of our test image. With these single-image comparisons, it can often be difficult to identify the underlying concept being compared (e.g., ``is it comparing the color or the shape?''). Our proposed method modifies the architecture of prototype-based networks to instead learn prototypical concepts which are visualized using multiple image patches. Having multiple visualizations of the same prototype allows us to more easily identify the concept captured by that prototype (e.g., ``the test image and the related training patches are all the same shade of blue''), and allows our model to create richer, more interpretable visual explanations. Our experiments show that our ``this looks like those'' reasoning process can be applied as a modification to a wide range of existing prototypical image classification networks while achieving comparable accuracy on benchmark datasets.

研究动机与目标

• 解决单张图像原型可视化带来的模糊性，以改善人类对模型推理过程的理解。
• 通过在多个示例中共享特征，使用户能够推断语义概念，从而提升基于原型的图像分类器的可解释性。
• 在提升视觉解释的清晰度与可靠性的同时，保持较高的分类准确率。
• 评估多可视化原型是否能提升人类在理解模型决策方面的能力。
• 提供一种可推广的方法，适用于广泛的现有基于原型的神经网络。

提出的方法

• 该方法用多图块可视化替代单张图像原型，其中每个原型由多个共享相同语义特征的训练图像块表示。
• 原型被训练为与同一类别的特征图块相似，与其他类别不相似，但每个概念现在拥有多个示例。
• 模型采用改进的架构，通过聚合同一概念的多个可视化表示的相似度得分，提升决策的透明度。
• 多个可视化表示之间的共性（例如一致的颜色或形状）有助于用户推断模型用于分类的底层语义特征。
• 该方法与现有原型网络（如ProtoPNet）兼容，可作为模块化增强组件应用。
• 通过Amazon Mechanical Turk平台开展用户研究，比较ProtoPNet与ProtoConcepts在解释性能上的差异。

实验结果

研究问题

• RQ1 多个原型的可视化表示是否能提升人类用户对模型决策的解释能力？
• RQ2 在多个示例中提供共享视觉特征，是否能降低对原型所代表视觉属性（如颜色、形状）理解的模糊性？
• RQ3 多可视化原型方法能否在分类准确率上与单原型方法保持相当？
• RQ4 该新方法在多大程度上提升了非专家用户在细粒度图像分类任务中的表现？
• RQ5 在真实世界的人工评估中，ProtoConcepts的可解释性与ProtoPNet相比如何？

主要发现

• 使用ProtoConcepts提供视觉解释的用户平均准确率达到62.1% ± 5.4，显著优于使用ProtoPNet解释的用户（51.5% ± 5.2），p值为0.003。
• 依赖ProtoPNet解释的用户表现未优于随机猜测（p = 0.289），而使用ProtoConcepts解释的用户显著优于随机水平（p = 2.85 × 10⁻⁵）。
• 用户研究中，质量检查的批准率达到98%，仅有一份回答在筛选中因无意义被剔除。
• 两组用户在自评机器学习经验方面无显著差异（p = 1），确保了比较的公平性。
• 该方法在保持与现有原型网络相当的分类准确率的同时，显著提升了视觉解释的可解释性。
• 多可视化方法使用户能比单原型方法更可靠地推断语义概念（例如“相同色调的蓝色”）