[论文解读] Visualizing Deep Networks by Optimizing with Integrated Gradients

Zhongang Qi, Saeed Khorram+1 more|arXiv (Cornell University)|May 2, 2019

Neural Networks and Applications被引用 32

一句话总结

I-GOS 通过在掩模优化框架中将 integrated gradients 作为下降方向来优化热力图，从而生成的热力图与网络决策更一致，在删除/插入评估中优于现有方法。

ABSTRACT

Understanding and interpreting the decisions made by deep learning models is valuable in many domains. In computer vision, computing heatmaps from a deep network is a popular approach for visualizing and understanding deep networks. However, heatmaps that do not correlate with the network may mislead human, hence the performance of heatmaps in providing a faithful explanation to the underlying deep network is crucial. In this paper, we propose I-GOS, which optimizes for a heatmap so that the classification scores on the masked image would maximally decrease. The main novelty of the approach is to compute descent directions based on the integrated gradients instead of the normal gradient, which avoids local optima and speeds up convergence. Compared with previous approaches, our method can flexibly compute heatmaps at any resolution for different user needs. Extensive experiments on several benchmark datasets show that the heatmaps produced by our approach are more correlated with the decision of the underlying deep network, in comparison with other state-of-the-art approaches.

研究动机与目标

• 为视觉任务中的 CNN 决策提供可靠、与模型保持一致的热力图。
• 开发一种克服局部最优和收敛缓慢的热力图优化方法。
• 利用整合梯度来引导掩模优化，同时通过正则化避免对抗性掩码。
• 在基准数据集和分辨率上展示与网络决策的相关性提升。

提出的方法

• 将热力图生成表述为以基线图像为条件的掩模优化问题。
• 用整合梯度替代常规梯度以引导下降至全局最优。
• 通过 L1 和全变分项的正则化来产生分段光滑的掩模。
• 使用回溯 Armijo 线搜索自适应设定整合梯度引导更新的步长。
• 在 IG 计算过程中引入随机扰动以减轻对抗性掩码并提升鲁棒性。
• 通过在扰动前对低分辨率掩模进行上采样，使热力图具有不同分辨率。
• 提供一个 Algorithm 1 风格的 I-GOS 程序概述并讨论收敛性注意事项。

实验结果

研究问题

• RQ1 在热力图优化中，整合梯度是否能提供比标准梯度更可靠的下降方向？
• RQ2 与现有方法相比，在删除与插入评估中 I-GOS 热力图是否更能反映模型的决策过程？
• RQ3 热力图分辨率如何影响保真度、鲁棒性和计算时间？
• RQ4 哪些正则化和扰动策略在不影响可解释性的前提下，最有效地阻止对抗性热力图？

主要发现

• I-GOS 在多种分辨率和模型上，相较于最先进的热力图方法，获得更优的删除与插入评估指标。
• 在掩模优化中用整合梯度替代梯度，可实现更快收敛并更好地与网络决策保持一致。
• 正则化（L1 和总变差）结合扰动策略，减少对抗性或无信息的热力图，尤其在较高分辨率时。
• 该方法在热力图分辨率方面具有灵活性，并且展示出比可比扰动型方法更快的运行时间。
• 基于线搜索的更新、带自适应步长的高效优化，通常在十几次迭代内收敛。