[论文解读] ProtoMIL: Multiple Instance Learning with Prototypical Parts for Fine-Grained Interpretability

Dawid Rymarczyk, Aneta Kaczyńska+3 more|arXiv (Cornell University)|Aug 24, 2021

Explainable Artificial Intelligence (XAI)参考文献 46被引用 4

一句话总结

ProtoMIL 提出了一种自解释的多实例学习框架，通过利用视觉原型来提升模型的准确率与细粒度可解释性。通过基于案例的推理过程建模典型部件，该方法在五个基准 MIL 数据集上实现了最先进性能的同时，实现了详细的实例级别解释。

ABSTRACT

Multiple Instance Learning (MIL) gains popularity in many real-life machine learning applications due to its weakly supervised nature. However, the corresponding effort on explaining MIL lags behind, and it is usually limited to presenting instances of a bag that are crucial for a particular prediction. In this paper, we fill this gap by introducing ProtoMIL, a novel self-explainable MIL method inspired by the case-based reasoning process that operates on visual prototypes. Thanks to incorporating prototypical features into objects description, ProtoMIL unprecedentedly joins the model accuracy and fine-grained interpretability, which we present with the experiments on five recognized MIL datasets.

研究动机与目标

• 解决多实例学习（MIL）模型中缺乏细粒度可解释性的问题。
• 开发一种自解释的 MIL 框架，以提供有意义的实例级别解释。
• 将视觉原型整合到 MIL 中，以提升模型可解释性，同时不牺牲性能。
• 弥合弱监督学习中模型准确率与可解释性之间的差距。

提出的方法

• ProtoMIL 采用基于原型的注意力机制，学习代表袋中实例关键部分的视觉原型。
• 通过基于案例的推理方法，将输入实例与学习到的原型进行比较，以实现预测与解释。
• 通过对比学习目标，联合优化分类准确率与原型对齐。
• 在训练过程中更新原型，使其代表数据中具有区分性且语义有意义的部件。
• 基于实例与原型之间的相似性计算注意力权重，从而实现实例级别的可解释性。
• 该框架在弱监督下端到端训练，仅使用袋级别标签。

实验结果

研究问题

• RQ1 MIL 模型是否能通过基于原型的推理同时实现高准确率与细粒度可解释性？
• RQ2 视觉原型在多大程度上提升了模型在实例级别解释预测的能力？
• RQ3 在弱监督学习中，引入原型在多大程度上增强了泛化能力与鲁棒性？
• RQ4 基于案例的推理机制与标准注意力机制在 MIL 模型中相比有何差异？

主要发现

• ProtoMIL 在五个公认的 MIL 基准数据集上实现了最先进性能。
• 该模型通过突出显示与学习到的原型最相似的实例特定部分，实现了细粒度可解释性。
• 与基线 MIL 方法相比，原型的整合同时提升了模型准确率与解释质量。
• ProtoMIL 生成的解释比标准注意力机制生成的解释更具语义意义且定位更精确。