[论文解读] Shapley-based explainability on the data manifold.

Christopher Frye, Damien de Mijolla+3 more|arXiv (Cornell University)|Jun 1, 2020

Explainable Artificial Intelligence (XAI)参考文献 24被引用 10

一句话总结

本文提出了一种流形感知的Shapley解释框架，通过利用生成建模或监督学习来生成位于流形上的数据插补，解决了标准Shapley值中的关键缺陷——假设特征之间不相关。该方法消除了在高维、相关数据中常见的虚假、误导性或难以解释的解释，显著提升了模型的可解释性和可靠性。

ABSTRACT

Explainability in machine learning is crucial for iterative model development, compliance with regulation, and providing operational nuance to model predictions. Shapley values provide a general framework for explainability by attributing a model's output prediction to its input features in a mathematically principled and model-agnostic way. However, practical implementations of the Shapley framework make an untenable assumption: that the model's input features are uncorrelated. In this work, we articulate the dangers of this assumption and introduce two solutions for computing Shapley explanations that respect the data manifold. One solution, based on generative modelling, provides flexible access to on-manifold data imputations, while the other directly learns the Shapley value function in a supervised way, providing performance and stability at the cost of flexibility. While the commonly used ``off-manifold'' Shapley values can (i) break symmetries in the data, (ii) give rise to misleading wrong-sign explanations, and (iii) lead to uninterpretable explanations in high-dimensional data, our approach to on-manifold explainability demonstrably overcomes each of these problems.

研究动机与目标

• 解决标准Shapley值解释中的根本性缺陷，即假设输入特征之间不相关，而现实世界的数据却是相关的。
• 防止在高维、相关特征空间中出现对称性破坏、错误符号归因和难以解释的解释。
• 开发一种模型无关、数学上严谨的特征归因方法，尊重数据的内在流形结构。
• 为现实世界机器学习应用中保持可解释性和公平性，提供一种实用且稳定的流形外Shapley值替代方案。

提出的方法

• 使用生成建模从特征联盟中采样真实、位于流形上的数据插补，确保反事实输入位于数据分布之内。
• 采用条件生成模型来估计在输入特征的流形上扰动下的期望模型输出。
• 训练一个代理模型，直接使用流形上的数据预测Shapley值，以灵活性换取更高的稳定性和性能。
• 在流形正则化的数据空间上应用Shapley值框架，确保所有联盟和边际贡献均与观测到的数据模式一致。
• 通过将可能的特征配置集合限制在统计上合理的范围内，将数据流形整合到Shapley计算中。

实验结果

研究问题

• RQ1 在特征相关的情况下，流形外Shapley值为何会失效，具体会产生哪些人为缺陷？
• RQ2 流形上的数据插补能否提升基于Shapley的解释的可靠性和可解释性？
• RQ3 在流形上Shapley估计中，生成建模与监督学习在稳定性、准确性和灵活性方面有何比较？
• RQ4 流形感知的Shapley值在多大程度上消除了对称性破坏和错误符号归因问题？

主要发现

• 流形外Shapley值可能破坏数据中的对称性，导致不一致或违反直觉的特征归因。
• 流形外解释经常产生错误符号的归因，即特征看似以与真实影响相反的方向起作用。
• 流形上Shapley值通过确保所有反事实输入都是现实且与数据分布一致，消除了这些缺陷。
• 生成建模方法能够实现灵活、分布感知的插补，保留数据结构并减少虚假解释。
• 监督学习方法在牺牲对新数据分布适应能力的代价下，提供了更稳定、更准确的Shapley估计。