[论文解读] Visual Explanations for Convolutional Neural Networks via Input Resampling.
本文提出一种通过分析输入重采样后的内部特征表示来解释卷积神经网络的框架。通过测量神经元激活与网络输出之间的相关性，以及在扰动输入下的激活精度，该方法识别出对预测具有影响的神经元和具备泛化能力的特征，揭示了内部注意力机制的内在机理。
The predictive power of neural networks often costs model interpretability. Several techniques have been developed for explaining model outputs in terms of input features; however, it is difficult to translate such interpretations into actionable insight. Here, we propose a framework to analyze predictions in terms of the model's internal features by inspecting information flow through the network. Given a trained network and a test image, we select neurons by two metrics, both measured over a set of images created by perturbations to the input image: (1) magnitude of the correlation between the neuron activation and the network output and (2) precision of the neuron activation. We show that the former metric selects neurons that exert large influence over the network output while the latter metric selects neurons that activate on generalizable features. By comparing the sets of neurons selected by these two metrics, our framework suggests a way to investigate the internal attention mechanisms of convolutional neural networks.
研究动机与目标
- 通过分析内部特征表示而非仅依赖输入层面的解释，提升卷积神经网络的可解释性。
- 通过测量输入扰动下输出变化时的神经元激活相关性，识别对模型预测具有显著影响的神经元。
- 通过在扰动输入下激活的一致性（精度）来区分响应泛化特征的神经元。
- 通过对比基于影响度和泛化度指标选择的神经元，提供关于内部注意力机制的可操作洞察。
提出的方法
- 对输入图像进行扰动，生成一组用于分析的重采样输入。
- 通过测量扰动输入下神经元激活与网络输出之间的相关性，评估其对预测的影响。
- 计算神经元激活的精度——即神经元在扰动下激活的一致性——以识别出检测泛化特征的神经元。
- 基于高相关性（影响度）和高精度（泛化度）选择神经元，以比较其在模型中的作用。
- 通过比较这些神经元集合的交集与差异，推断内部注意力机制的分布特征。
- 将该框架应用于图像分类任务中的训练好的CNN，以分析特征层面的可解释性。
实验结果
研究问题
- RQ1在CNN中，哪些神经元对最终预测结果最具影响力？
- RQ2哪些神经元对输入变化中的泛化特征有响应？
- RQ3具有高预测影响力和检测泛化特征的神经元有何不同？
- RQ4通过对比影响度和精度指标，能否揭示内部注意力机制的内在机理？
主要发现
- 神经元激活与输出之间具有高相关性的，对网络最终预测具有显著影响。
- 在扰动输入下激活精度高的神经元，更可能响应输入中具有鲁棒性的泛化特征。
- 基于影响度和精度选择的神经元集合之间的重叠与差异，揭示了内部注意力在特征检测器中的分布方式。
- 该框架通过将神经元活动与预测能力及特征泛化性相联系，实现了对模型行为更可操作的解释。
更好的研究，从现在开始
从阅读论文到最终审阅，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。