[论文解读] ProtoPShare: Prototype Sharing for Interpretable Image Classification and Similarity Discovery

Dawid Rymarczyk, Łukasz Struski+2 more|arXiv (Cornell University)|Nov 29, 2020

Explainable Artificial Intelligence (XAI)参考文献 43被引用 14

一句话总结

ProtoPShare 在可解释图像分类中引入了一种原型共享机制，通过基于数据的相似性在不同类别间合并语义上相似的原型，从而减少模型复杂度。该方法提升了可解释性，增强了对扰动的鲁棒性，并实现了跨类相似性的发现，在原型效率和一致性方面优于ProtoPNet，同时保持了高准确率。

ABSTRACT

In this paper, we introduce ProtoPShare, a self-explained method that incorporates the paradigm of prototypical parts to explain its predictions. The main novelty of the ProtoPShare is its ability to efficiently share prototypical parts between the classes thanks to our data-dependent merge-pruning. Moreover, the prototypes are more consistent and the model is more robust to image perturbations than the state of the art method ProtoPNet. We verify our findings on two datasets, the CUB-200-2011 and the Stanford Cars.

研究动机与目标

• 为解决ProtoPNet中原型数量过多的问题，该问题会降低可解释性和模型效率。
• 通过确保语义上相似的原型在表示空间中彼此接近，提升模型鲁棒性。
• 通过跨不同图像类别共享原型，实现跨类相似性的发现。
• 开发一种基于数据的相似性度量方法，即使在表示空间中相距较远，也能识别出语义上相似的原型。
• 在CUB-200-2011和Stanford Cars数据集上通过定量分析和用户研究评估验证该方法。

提出的方法

• ProtoPShare 采用两阶段训练过程：先使用独立原型进行初始训练，随后进入合并-剪枝阶段。
• 合并-剪枝阶段利用基于数据的相似性度量，识别并合并来自不同类别的语义上相似的原型。
• 基于数据的相似性度量依据图像间的激活模式计算相似性，而不仅依赖于表示空间中的欧氏距离。
• 原型在类别间共享，与ProtoPNet相比，原型总数最多减少至三分之一。
• 该方法利用一个原型层，将共享原型连接到多个类别，从而支持多类别解释。
• 进行了用户研究，以验证基于数据的相似性相较于欧氏距离在感知一致性上的优势。

实验结果

研究问题

• RQ1 在保持或提升模型准确率的前提下，跨类原型共享是否能减少原型数量？
• RQ2 基于数据的相似性是否优于欧氏距离，尤其在原型于表示空间中相距较远时，能更准确识别语义上相似的原型？
• RQ3 共享原型是否能实现有意义的跨类相似性发现，例如通过聚类或基于图的类关系可视化？
• RQ4 与原始的ProtoPNet相比，合并后的原型表示是否对图像扰动更具鲁棒性？
• RQ5 人类用户是否认为基于数据的相似性在原型比较中比基于距离的相似性更具一致性？

主要发现

• 与ProtoPNet相比，ProtoPShare将原型数量最多减少至三分之一，显著提升了可解释性。
• 该模型保持了高准确率，并在图像扰动下表现出更强的鲁棒性，剪枝后正确分类的图像块比例更高。
• 基于数据的相似性度量成功识别出即使在表示空间中相距较远的语义相似原型，用户研究结果证实了这一点。
• 在包含285份反馈的用户研究中，195名用户更偏好基于数据的相似性而非欧氏距离，表明其具有更好的感知一致性。
• 该方法通过基于图的表示有效实现了跨类相似性的可视化，其中共享原型揭示了类别间的关系，例如Audi S5 Coupe与Audi S5 Convertible共享四个原型。
• 合并-剪枝过程在保持模型容量方面更为有效，表现为在剪枝过程中，正确分配到真实类别的图像块比例持续上升。