[论文解读] Understanding Individual Decisions of CNNs via Contrastive Backpropagation

Jindong Gu, Yinchong Yang+1 more|arXiv (Cornell University)|Dec 5, 2018

Explainable Artificial Intelligence (XAI)参考文献 35被引用 9

一句话总结

本文提出对比层传播（Contrastive Layer-wise Relevance Propagation, CLRP），通过建模来自相反视觉概念的对比信号，增强深度神经网络单个决策的类别判别性、像素级解释。与产生非判别性显著图的LRP不同，CLRP生成实例特定、神经元判别性的解释，揭示神经元间特征关注的差异，通过定性可视化和定量消融研究得到验证。

ABSTRACT

A number of backpropagation-based approaches such as DeConvNets, vanilla Gradient Visualization and Guided Backpropagation have been proposed to better understand individual decisions of deep convolutional neural networks. The saliency maps produced by them are proven to be non-discriminative. Recently, the Layer-wise Relevance Propagation (LRP) approach was proposed to explain the classification decisions of rectifier neural networks. In this work, we evaluate the discriminativeness of the generated explanations and analyze the theoretical foundation of LRP, i.e. Deep Taylor Decomposition. The experiments and analysis conclude that the explanations generated by LRP are not class-discriminative. Based on LRP, we propose Contrastive Layer-wise Relevance Propagation (CLRP), which is capable of producing instance-specific, class-discriminative, pixel-wise explanations. In the experiments, we use the CLRP to explain the decisions and understand the difference between neurons in individual classification decisions. We also evaluate the explanations quantitatively with a Pointing Game and an ablation study. Both qualitative and quantitative evaluations show that the CLRP generates better explanations than the LRP. The code is available.

研究动机与目标

• 评估层传播（LRP）为单个分类决策生成的解释的判别性。
• 分析LRP的理论基础，特别是深度泰勒分解，识别其在生成类别判别性解释方面的局限性。
• 提出一种新方法——对比层传播（CLRP），为深度卷积网络中的单个决策生成实例特定、类别判别性且像素级的解释。
• 实现对单个分类决策中神经元激活模式差异的可视化与理解，尤其在全连接层中。
• 提供基于PyTorch的计算高效、GPU加速的LRP与CLRP实现，以克服先前工作的计算低效问题。

提出的方法

• CLRP通过引入同一层中其余神经元的激活作为相反视觉概念的表示，建模对比信号，以增强类别判别性。
• 提出CLRP的两种变体：CLRP1使用同一层中其他神经元的平均激活作为对比信号，而CLRP2使用其他神经元的最大激活。
• 该方法应用一种改进的显著性传播规则，将对比信号整合其中，从输出层向输入层重新分配显著性，确保具有判别性的归因。
• 基于深度泰勒分解的线性近似，逐层传播显著性，并通过调整突出目标类别与对比类别之间的差异。
• 该方法利用实例特定结构信息（ISSInfo），如ReLU掩码和池化开关，确保解释具有实例特定性。
• 开发了GPU优化的PyTorch实现，以支持高效推理，解决了先前LRP实现中的计算低效问题。

实验结果

研究问题

• RQ1 LRP生成的显著图是否真正对单个分类决策具有类别判别性？
• RQ2 LRP的理论基础是什么？其是否内在支持判别性解释的生成？
• RQ3 从相反视觉概念中提取的对比信号能否提升深度网络中解释图的判别性？
• RQ4 在全连接层中，单个输入图像的各个神经元在注意力模式上如何不同？
• RQ5 定量指标如指向游戏（Pointing Game）和消融研究能否验证CLRP优于LRP？

主要发现

• LRP生成的显著图在同层不同神经元间几乎完全相同，无法捕捉到不同的特征关注模式，表现出非判别性。
• CLRP2生成了有意义的、神经元特定的解释，显示不同神经元关注图像中不同区域，例如在玩具店图像中分别关注狮子、大猩猩或大象的眼睛。
• 消融研究证实，若移除CLRP2识别出的判别性区域，对应神经元的激活显著下降，验证了解释的相关性。
• 指向游戏和消融研究结果表明，CLRP生成的解释比LRP更准确、更具判别性。
• CLRP在定性和定量性能上均表现更优，其中CLRP2在揭示神经元间特征关注差异方面能力更强。
• CLRP的GPU优化PyTorch实现相比先前的LRP实现显著提升了计算效率。