[论文解读] SmoothGrad: removing noise by adding noise

Daniel Smilkov, Nikhil Thorat+3 more|arXiv (Cornell University)|Jun 12, 2017

Explainable Artificial Intelligence (XAI)参考文献 3被引用 754

一句话总结

SmoothGrad 对输入的带噪声副本的梯度取平均，以生成更清晰、更加一致的图像分类器敏感性映射。结合推断时的噪声时，训练时使用噪声还能进一步提升去噪效果。

ABSTRACT

Explaining the output of a deep network remains a challenge. In the case of an image classifier, one type of explanation is to identify pixels that strongly influence the final decision. A starting point for this strategy is the gradient of the class score function with respect to the input image. This gradient can be interpreted as a sensitivity map, and there are several techniques that elaborate on this basic idea. This paper makes two contributions: it introduces SmoothGrad, a simple method that can help visually sharpen gradient-based sensitivity maps, and it discusses lessons in the visualization of these maps. We publish the code for our experiments and a website with our results.

研究动机与目标

• 解释深度神经网络并识别对分类决策有影响力的像素的动机。
• 解决基于梯度的敏感性映射中的视觉噪声并提升可解释性。
• 探索对梯度进行平滑以及与训练时噪声相结合的好处。
• 提供证据表明 SmoothGrad 能产生更具视觉连贯性和判别性的映射。

提出的方法

• 将敏感性映射定义为类别分数相对于输入像素的梯度。
• 通过对被高斯噪声扰动的输入取梯度并取平均来引入 SmoothGrad：M̂c(x) = (1/n) sumk Mc(x + N(0, σ^2)).
• 分析噪声水平 σ 与样本量 n 对映射尖锐度和连贯性的影响。
• 将 SmoothGrad 与普通梯度及其他基于梯度的方法（集成梯度、Guided BackProp）进行比较。
• 研究在训练阶段与推理阶段应用噪声的效果。
• 提供可视化和组合策略以提升映射的可解释性。

实验结果

研究问题

• RQ1 在带噪声的输入上对梯度取平均是否能减少显著性图中的视觉噪声？
• RQ2 噪声水平 σ 与样本量 n 如何影响敏感性映射的质量？
• RQ3 在视觉连贯性和判别性方面，SmoothGrad 是否优于普通梯度及其他基于梯度的方法？
• RQ4 SmoothGrad 能否与其他归因方法有效结合？
• RQ5 带噪声进行训练是否能进一步提升敏感性映射的锐度，且与推断时的噪声结合时是否有叠加效益？

主要发现

• SmoothGrad 在视觉连贯性方面优于普通梯度和一些基线方法的敏感性映射。
• 10–20% 的噪声水平在 ImageNet 图像上实现尖锐度与结构的平衡；结果取决于输入。
• 增大样本数量 n 会使梯度更平滑，约在 n = 50 之后收益递减。
• 将 SmoothGrad 与集成梯度或 Guided BackProp 结合可提升视觉连贯性。
• 在训练阶段加入噪声也能提高敏感性映射的锐度，当与推理时的噪声结合时有叠加效益。