[论文解读] On the Relationship Between Explanation and Prediction: A Causal View

Amir-Hossein Karimi, Krikamol Muandet+3 more|arXiv (Cornell University)|Dec 13, 2022

Explainable Artificial Intelligence (XAI)被引用 5

一句话总结

本文利用因果推断量化模型解释（E）与预测（Y）之间的关系，发现高性能模型中，解释往往更多受超参数影响，而非实际预测。关键发现是，在表现最佳的模型中，理想与实际的E–Y依赖关系差距扩大，表明解释可能无法可靠反映模型决策。

ABSTRACT

Being able to provide explanations for a model's decision has become a central requirement for the development, deployment, and adoption of machine learning models. However, we are yet to understand what explanation methods can and cannot do. How do upstream factors such as data, model prediction, hyperparameters, and random initialization influence downstream explanations? While previous work raised concerns that explanations (E) may have little relationship with the prediction (Y), there is a lack of conclusive study to quantify this relationship. Our work borrows tools from causal inference to systematically assay this relationship. More specifically, we study the relationship between E and Y by measuring the treatment effect when intervening on their causal ancestors, i.e., on hyperparameters and inputs used to generate saliency-based Es or Ys. Our results suggest that the relationships between E and Y is far from ideal. In fact, the gap between 'ideal' case only increase in higher-performing models -- models that are likely to be deployed. Our work is a promising first step towards providing a quantitative measure of the relationship between E and Y, which could also inform the future development of methods for E with a quantitative metric.

研究动机与目标

• 系统研究使用超参数和数据等上游因素的模型解释（E）与预测（Y）之间的因果关系。
• 量化解释（E）受预测（Y）影响的程度，以及受其他上游因素（如超参数H）影响的程度。
• 评估高性能模型中的解释方法是否保持与预测的强且可靠的关系，以满足可信模型解释的要求。
• 基于解释方法与模型预测的一致性，提供一种定量且因果的度量指标，以评估解释方法的质量。
• 通过识别解释可能因超参数的强烈间接影响而具有误导性的情况，为实践者和未来方法开发提供建议。

提出的方法

• 本研究采用因果推断中的潜在结果框架，测量超参数（H）对预测（Y）和解释（E）的处理效应。
• 通过反事实干预H，区分H对E的直接影响与通过Y中介的间接影响，从而隔离因果路径。
• 分析涵盖30,000个不同超参数的预训练模型，在多个数据集上训练，实现大规模因果评估。
• 该框架评估H的变化对E和Y的影响程度，并计算一个度量指标，衡量E的变异中归因于Y与H直接作用的比例。
• 将H对E和Y的实际影响与理想情景（所有对E的影响均通过Y传递）进行比较，量化与理想依赖关系的偏离程度。
• 使用基于显著性图的解释方法（如Grad-CAM、SmoothGrad），并评估其对超参数的敏感性相对于预测变化的程度。

实验结果

研究问题

• RQ1 模型解释（E）的变化在多大程度上是由模型预测（Y）引起的，而非由上游超参数（H）引起的？
• RQ2 在不同模型性能水平下，超参数（H）对解释（E）的影响与对预测（Y）的影响相比如何？
• RQ3 在高性能模型中，E与Y的关系是否恶化，而这些模型正是最可能被部署的？
• RQ4 是否存在某些解释方法在不同超参数设置下，相较于其他方法，能保持更强的E–Y因果联系？
• RQ5 能否开发一种定量且因果的度量指标，以评估解释是否真正与预测相关联，而非受超参数的虚假影响？

主要发现

• 解释（E）与预测（Y）之间的关系远非理想，超参数（H）对E具有直接且显著的影响，其影响程度超过通过Y的间接影响。
• 在更高性能的模型中——这些模型最可能被实际部署——理想情况（E仅依赖Y）与实际情况（H直接作用于E）之间的差距显著扩大。
• 对于Grad-CAM和SmoothGrad等方法，超参数对E的直接影响远大于通过Y中介的间接影响，表明E并未可靠反映Y。
• 研究发现，在某些情况下，H对E的影响强于其对Y的影响，这与解释应主要由预测塑造的预期相悖。
• 结果表明，高性能模型的解释可能更多反映的是超参数选择，而非实际的模型决策，这引发了其在现实部署中可信度的担忧。
• 因果框架揭示，即使在通过了视觉相似性等先前合理性检查（如训练前后模型的可视化对比）的情况下，也不存在任何一种解释方法能始终如一地优于其他方法，保持强E–Y关系。