[论文解读] Relative Attributing Propagation: Interpreting the Comparative Contributions of Individual Units in Deep Neural Networks

Woo-Jeoung Nam, Shir Gur+3 more|arXiv (Cornell University)|Apr 1, 2019

Explainable Artificial Intelligence (XAI)参考文献 31被引用 15

一句话总结

本文提出了一种新型方法——相对归因传播（Relative Attributing Propagation, RAP），通过基于相连神经元之间的相对影响，将深度神经网络的预测结果分解为双极相关性分数——正分值表示相关神经元，负分值表示无关神经元。RAP通过清晰地区分与对象相关的特征与背景特征，显著提升了可解释性，在对象性、分割mIOU以及对负归因扰动的鲁棒性方面优于现有方法。

ABSTRACT

As Deep Neural Networks (DNNs) have demonstrated superhuman performance in a variety of fields, there is an increasing interest in understanding the complex internal mechanisms of DNNs. In this paper, we propose Relative Attributing Propagation (RAP), which decomposes the output predictions of DNNs with a new perspective of separating the relevant (positive) and irrelevant (negative) attributions according to the relative influence between the layers. The relevance of each neuron is identified with respect to its degree of contribution, separated into positive and negative, while preserving the conservation rule. Considering the relevance assigned to neurons in terms of relative priority, RAP allows each neuron to be assigned with a bi-polar importance score concerning the output: from highly relevant to highly irrelevant. Therefore, our method makes it possible to interpret DNNs with much clearer and attentive visualizations of the separated attributions than the conventional explaining methods. To verify that the attributions propagated by RAP correctly account for each meaning, we utilize the evaluation metrics: (i) Outside-inside relevance ratio, (ii) Segmentation mIOU and (iii) Region perturbation. In all experiments and metrics, we present a sizable gap in comparison to the existing literature. Our source code is available in \url{https://github.com/wjNam/Relative_Attributing_Propagation}.

研究动机与目标

• 通过实现对神经元贡献的更可解释归因，解决深度神经网络（DNNs）缺乏透明性的问题。
• 克服传统归因方法因依赖绝对贡献大小而导致正负相关性混淆的局限性。
• 通过聚焦于神经元之间的相对影响而非绝对贡献符号，引入相关性分析的新视角。
• 通过最小化重叠地分离正向（相关）与负向（无关）归因，提升可视化清晰度。
• 通过外部-内部相关性比率、mIOU和区域扰动等定量指标验证方法，证明其在对象性和鲁棒性方面的优越性。

提出的方法

• RAP通过基于层内神经元之间相对影响而非绝对贡献大小，重新定义相关性。
• 通过重新分配相关性以保持守恒规则，使所有神经元归因之和等于最终输出。
• 根据相连神经元之间的相对优先级，将相关性划分为正向（促进预测）与负向（削弱预测）。
• 分层执行相关性传播，每个神经元的归因由其相对于邻近神经元的相对影响决定。
• 显式建模并使用负向相关性，与仅关注正向相关性的方法形成区分。
• 通过零值或均值阈值化相关性图生成分割掩码，用于mIOU评估，从而与对象性基准进行比较。

实验结果

研究问题

• RQ1 一种考虑神经元之间相对影响的新归因方法，是否能相比现有方法显著提升DNN预测的可解释性？
• RQ2 基于相对影响分离正负相关性，是否能产生更清晰的可视化结果，使其与对象语义更一致？
• RQ3 RAP相关性图与对象存在区域及背景区域的相关程度如何，通过mIOU和分割指标衡量？
• RQ4 当移除负向相关性（无关像素）时，RAP的鲁棒性如何？是否比其他方法保持更好的预测稳定性？
• RQ5 RAP是否能在不依赖额外标注（如边界框或分割掩码）的情况下，实现与监督式对象性方法相当的性能？

主要发现

• 在所有测试方法中，RAP实现了最高的外部-内部相关性比率，表明其在分离相关与无关区域方面表现更优。
• 在ImageNet和Pascal VOC 2012验证集上，RAP在分割任务中实现了最高的平均交并比（mIOU），优于现有解释方法。
• 即使将高达4,000个像素的负向相关性（无关区域）置零，RAP仍能保持高预测准确性，表现出强鲁棒性。
• 相关性图与对象存在之间表现出强相关性：正向相关性集中于主要对象，负向相关性集中于背景。
• 尽管未使用边界框或分割标注，RAP性能仍与最先进无监督对象性方法相当。
• 在同时评估正负相关性（ALL情况）时，RAP在所有指标上均取得最佳得分，证实显式建模负向归因具有重要价值。