[论文解读] Visualizing Deep Neural Network Decisions: Prediction Difference Analysis

Luisa Zintgraf, Taco Cohen+2 more|arXiv (Cornell University)|Feb 15, 2017

Explainable Artificial Intelligence (XAI)参考文献 10被引用 431

一句话总结

引入预测差异分析来可视化，在给定输入下，哪些图像区域为神经网络对某一类别做出决策提供证据，优于以往方法的通过条件性、多变量采样和对隐藏层的深度可视化来改进。

ABSTRACT

This article presents the prediction difference analysis method for visualizing the response of a deep neural network to a specific input. When classifying images, the method highlights areas in a given input image that provide evidence for or against a certain class. It overcomes several shortcoming of previous methods and provides great additional insight into the decision making process of classifiers. Making neural network decisions interpretable through visualization is important both to improve models and to accelerate the adoption of black-box classifiers in application areas such as medicine. We illustrate the method in experiments on natural images (ImageNet data), as well as medical images (MRI brain scans).

研究动机与目标

• 在像医学和科学这样的高风险领域里证明可解释的深度学习的需求。
• 开发一个针对单个输入的实例特定可视化方法来解释分类器的决策。
• 通过引入条件采样、多变量分析以及对隐藏层的深度可视化来改进先前的可视化方法。

提出的方法

• 在 WE_i(c|x) 作为 p(c|x) 与 p(c|x_{ackslash i}) 的对数差来量化该类别的特征相关性，基于预测差异分析构建。
• 引入条件采样：通过 p(x_i|x̂_{ackslash i}) 来近似 p(x_i|x_{ackslash i})，其中 x̂_i 是包围 x_i 的一个补丁。
• 采用多变量采样，通过评估 k×k 的补丁并对像素的重叠补丁取平均，获得更鲁棒的重要性估计。
• 将框架扩展到深度网络，定义 g(z|h_{ackslash i}) 和 AD_i(z|h) 以评估隐藏层对更深节点的贡献。
• 提供用于在补丁上随 S 个样本计算 WE 的算法（Algorithm 1）。
• 在 ImageNet DCNNs（AlexNet、GoogLeNet、VGG）和带有逻辑回归分类器的 MRI 弥散加权图像上展示适用性。

实验结果

研究问题

• RQ1 我们如何量化和可视化特定输入对给定类别在 DCNN 中提供的证据？
• RQ2 条件性、多变量采样是否比边际、单变量方法产生更精确、可解释的解释？
• RQ3 该方法能否揭示隐藏层激活如何影响更深层或输出节点的决策？
• RQ4 可视化在不同网络体系架构及数据模态（自然图像 vs 医学图像）下的表现如何？

主要发现

• 条件采样比边际采样能够提供更具针对性、细粒度的解释，使证据集中在对象周围。
• 多变量、基于补丁的分析相比单像素移除提供了有意义且鲁棒的相关性地图。
• 在倒数层与输出层的可视化揭示了不同的类别判别线索，输出层的可视化强调在相似类别中的类特异性决策。
• 该方法揭示了 AlexNet、GoogLeNet 与 VGG 之间在解释方面的架构相关差异，例如上下文聚焦与对象特异线索的差异。
• 将其应用于 MRI 数据时，可视化与专家直觉一致，并对噪声较多的权重有所区分，有助于临床解读。