[论文解读] Towards falsifiable interpretability research

Matthew L. Leavitt, Ari S. Morcos|arXiv (Cornell University)|Oct 22, 2020

Explainable Artificial Intelligence (XAI)参考文献 97被引用 28

一句话总结

本文提出了一套可证伪的深度神经网络（DNNs）可解释性研究框架，以应对过度依赖未经验证的直觉和可视化方法的问题。该框架引入了一套从弱到强的假设层级，展示了如何将模糊的直觉转化为可测试、可证伪的预测。其核心贡献在于提出了一套系统化方法，确保可解释性研究能产生稳健、基于证据的洞见，而非误导性结论。

ABSTRACT

Methods for understanding the decisions of and mechanisms underlying deep neural networks (DNNs) typically rely on building intuition by emphasizing sensory or semantic features of individual examples. For instance, methods aim to visualize the components of an input which are "important" to a network's decision, or to measure the semantic properties of single neurons. Here, we argue that interpretability research suffers from an over-reliance on intuition-based approaches that risk-and in some cases have caused-illusory progress and misleading conclusions. We identify a set of limitations that we argue impede meaningful progress in interpretability research, and examine two popular classes of interpretability methods-saliency and single-neuron-based approaches-that serve as case studies for how overreliance on intuition and lack of falsifiability can undermine interpretability research. To address these concerns, we propose a strategy to address these impediments in the form of a framework for strongly falsifiable interpretability research. We encourage researchers to use their intuitions as a starting point to develop and test clear, falsifiable hypotheses, and hope that our framework yields robust, evidence-based interpretability methods that generate meaningful advances in our understanding of DNNs.

研究动机与目标

• 解决可解释性研究中过度依赖直觉和可视化的问题，此类依赖可能导致误导性结论。
• 识别当前可解释性方法中的关键障碍，如缺乏可证伪的假设、未经验证的假设以及量化不足。
• 提供一个结构化框架，将直观假设转化为具体、可证伪的科学陈述。
• 通过强调因果测试、基线比较和替代解释，提升可解释性研究的严谨性。
• 通过科学验证而非仅视觉或语义直觉，实现对DNN机制更可靠、更具影响力的洞见。

提出的方法

• 提出一个假设层级——弱、平均和强假设——从模糊直觉出发，逐步发展为可测试、可证伪的预测。
• 用因果性、可度量的陈述（如“删除特征选择性神经元会降低测试准确率”）替代模糊术语（如“重要”）。
• 将消融实验作为核心方法，用于测试必要性，并基于特征选择性强度提出关于准确率变化的具体预测。
• 通过比较沿轴对齐与非轴对齐特征方向的消融效应，区分单神经元与分布式表征的贡献。
• 使用基线（如随机水平的神经元数量）评估观察到的效果是否显著超出随机预期。
• 纳入替代假设和竞争性解释，以增强科学有效性，防止对结果的过度解读。

实验结果

研究问题

• RQ1 当前可解释性研究中存在哪些关键障碍，导致尽管有强烈的视觉或语义直觉，仍可能得出误导性结论？
• RQ2 如何将关于DNN行为的模糊、基于直觉的假设，转化为可证伪、可测试的科学陈述？
• RQ3 显著性图和单神经元解释在多大程度上反映了实际模型行为，而非可视化或设计导致的伪影？
• RQ4 什么样的实验设计能够区分单神经元与分布式表征对模型性能的贡献？
• RQ5 如何确保可解释性方法不仅在视觉上合理，而且具备科学严谨性和实证可验证性？

主要发现

• 许多可解释性方法存在未经验证的假设，例如认为显著性图或特征选择性神经元真实反映了模型机制。
• 在缺乏实证验证的情况下仅依赖可视化和语义直觉，会导致虚假进展，并在可解释性研究中产生误导性结论。
• 强有力的假设必须明确指定可证伪的预测——例如，在删除特征选择性神经元后，测试准确率出现可测量的下降，而非仅断言此类神经元的存在。
• 该框架表明，更强的假设能够区分单个神经元与分布式表征在DNN中的必要性与充分性。
• 删除非轴对齐的特征选择性方向，可能比删除单个神经元导致更大的准确率下降，表明网络可能更依赖分布式表征。
• 该框架使研究人员能够测试竞争性假设，并评估观察到的效果是否显著超过基线预期，从而提升可解释性研究的科学严谨性。