[论文解读] Understanding Convolutional Networks with APPLE : Automatic Patch Pattern Labeling for Explanation

Sandeep Konam, Ian Quah+2 more|arXiv (Cornell University)|Feb 11, 2018

Explainable Artificial Intelligence (XAI)参考文献 23被引用 4

一句话总结

APPLE（用于解释的自动补丁模式标注）是一种识别卷积神经网络（CNN）中重要神经元的方法，并利用预训练分类器自动标注激活这些神经元的图像补丁。通过将神经元重要性度量与去卷积可视化相结合，该方法提升了可解释性，实现了93%的目标定位准确率和高达0.87的top-2标签精确率，优于随机神经元选择，且无需修改网络结构即可提供人类可读的解释。

ABSTRACT

With the success of deep learning, recent efforts have been focused on analyzing how learned networks make their classifications. We are interested in analyzing the network output based on the network structure and information flow through the network layers. We contribute an algorithm for 1) analyzing a deep network to find neurons that are 'important' in terms of the network classification outcome, and 2)automatically labeling the patches of the input image that activate these important neurons. We propose several measures of importance for neurons and demonstrate that our technique can be used to gain insight into, and explain how a network decomposes an image to make its final classification.

研究动机与目标

• 自动化解释CNN决策，通过识别对分类结果至关重要的神经元。
• 通过自动为激活重要神经元的补丁分配描述性属性，消除对图像补丁的人工标注。
• 实现可扩展的、人类可理解的解释，揭示CNN如何在各层处理图像特征。
• 评估能反映信号传播和对最终预测贡献的神经元重要性度量方法。
• 证明补丁标注可增强对特征在目标识别中使用方式的理解，且无需修改网络架构。

提出的方法

• APPLE使用四种度量方法计算神经元重要性：特征图上激活值的总和与方差，以及连接权重的总和与方差。
• 通过去卷积操作，从重要神经元反向追踪至其对应的输入图像补丁，重建激活这些神经元的空间模式。
• 使用一个独立的、预训练的补丁分类器（AdaBoost-SVM）为检测到的图像补丁标注对象属性（例如：眼睛、毛发、鼻子）。
• 该方法无需修改原始CNN架构，可直接应用于预训练模型（如VGG-16）。
• 通过对比随机神经元选择和CAM等基线方法的定位准确率与标签精确率，评估重要性度量的有效性。
• 通过为每个目标类别训练专用的补丁分类器，支持多类别目标识别。

实验结果

研究问题

• RQ1 基于激活值和权重统计的神经元重要性度量是否能有效识别对分类有贡献的神经元？
• RQ2 去卷积网络是否能可靠地重建激活这些重要神经元的输入图像补丁？
• RQ3 独立分类器能否准确标注这些重建补丁的语义属性，从而提升人类可解释性？
• RQ4 APPLE在目标定位和补丁标注方面的性能与CAM及随机神经元选择相比如何？
• RQ5 该方法在不修改网络架构的前提下，是否能在不同目标类别和数据集上实现良好扩展？

主要发现

• APPLE的激活值总和度量实现了93%的目标定位准确率，显著优于随机基线（54%）。
• 补丁分类的top-2标签精确率达到0.871，表明即使在眼睛与鼻子等相似属性之间存在混淆时，性能依然出色。
• 该方法成功定位了整个目标轮廓周围的补丁，覆盖范围超过需要架构修改的CAM方法。
• 四种重要性度量（总和、方差、激活值、权重）在ImageNet和INRIA数据集上的北极熊、狗和人物图像中，一致识别出相关图像区域。
• 补丁分类器在top-1精确率上达到69.7%，在top-2预测下提升至83.2%，表明通过更优的训练数据可进一步提高准确率。
• 该方法通过自动化显著激活图像补丁的特征定位与语义标注，大幅减少了人工解读CNN决策的工作量。