[论文解读] ProtoAttend: Attention-Based Prototypical Learning

Sercan Ö. Arık, Tomas Pfister|arXiv (Cornell University)|Feb 17, 2019

Explainable Artificial Intelligence (XAI)参考文献 45被引用 15

一句话总结

ProtoAttend 是一种新颖的、基于注意力机制的原型学习方法，通过使用注意力机制从候选原型数据库中选择与输入相关的原型，从而提升模型的可解释性、置信度估计能力以及分布外（OOD）检测性能。该方法在图像、文本和表格数据上均实现了最先进性能，同时保持了基础模型的准确率，并仅带来极低的推理开销。

ABSTRACT

We propose a novel inherently interpretable machine learning method that bases decisions on few relevant examples that we call prototypes. Our method, ProtoAttend, can be integrated into a wide range of neural network architectures including pre-trained models. It utilizes an attention mechanism that relates the encoded representations to samples in order to determine prototypes. The resulting model outperforms state of the art in three high impact problems without sacrificing accuracy of the original model: (1) it enables high-quality interpretability that outputs samples most relevant to the decision-making (i.e. a sample-based interpretability method); (2) it achieves state of the art confidence estimation by quantifying the mismatch across prototype labels; and (3) it obtains state of the art in distribution mismatch detection. All this can be achieved with minimal additional test time and a practically viable training time computational cost.

研究动机与目标

• 开发一种内在可解释的深度学习方法，通过少量相关训练样本（原型）来解释预测结果。
• 通过测量所选原型之间的标签不匹配程度，实现置信度估计。
• 通过分析原型的一致性，检测测试数据中的分布偏移。
• 通过受控的原型选择提升对标签噪声的鲁棒性。
• 与现有神经网络架构（包括预训练模型）无缝集成，推理开销极低。

提出的方法

• ProtoAttend 使用注意力机制计算输入表示与候选原型数据库中原型之间的相关性得分。
• 通过可学习的查询向量和键向量计算注意力权重，实现基于输入的原型选择。
• 应用 sparsemax 归一化以促进稀疏性，使仅有少数高注意力原型被选中。
• 该方法可与任意编码器架构集成，并可通过端到端微调实现，仅增加少量参数（两个小型全连接层）。
• 应用置信度正则化以提升校准性能和 OOD 检测表现。
• 推理阶段，候选键和值预先计算并缓存，将运行时开销降低至 CIFAR-10 的 0.6 MFLOPs 以下。

实验结果

研究问题

• RQ1 基于注意力的原型选择能否通过识别与给定输入最相关的训练样本，提升模型的可解释性？
• RQ2 基于原型的标签不匹配检测在识别低置信度或分布外预测方面表现如何？
• RQ3 ProtoAttend 是否能在不牺牲基础模型准确率的前提下，实现置信度估计和 OOD 检测的最先进性能？
• RQ4 原型稀疏性在多大程度上提升了模型对训练数据中标签噪声的鲁棒性？
• RQ5 ProtoAttend 是否能以极低的计算开销高效集成到预训练模型中？

主要发现

• ProtoAttend 通过检索并可视化每个预测对应的最相关原型，实现了最先进的基于样本的可解释性。
• 通过量化原型之间标签不一致的程度，提升了置信度估计能力，实现更优校准的预测结果。
• 在分布外检测任务中（CIFAR-10 与 SVHN 对比），AUC 达到 0.838，与最先进方法性能相当。
• 采用 softmax 注意力机制并结合置信度正则化后，ProtoAttend 在准确率上超越 SOTA 方法，同时预测数量略有减少（例如，在 DBpedia 数据集上使用 VDCNN 时减少约 3%）。
• 该模型在保持与基础模型相当的整体准确率的同时，通过同一架构实现了多种可解释性和鲁棒性优势。
• 推理开销可忽略不计（CIFAR-10 上低于 0.6 MFLOPs），适用于实际部署。