[论文解读] Towards Robust Fidelity for Evaluating Explainability of Graph Neural Networks

Xu Zheng, Farhad Shirani+6 more|arXiv (Cornell University)|Oct 3, 2023

Explainable Artificial Intelligence (XAI)被引用 4

一句话总结

该论文提出了一种稳健的信息论框架，用于评估图神经网络（GNN）的可解释性，通过解决现有精确度度量中分布偏移的关键缺陷。它引入了新型的、对分布偏移具有鲁棒性的度量——$Fid_{\alpha_1,+}$、$Fid_{\alpha_2,-}$ 和 $Fid_{\alpha_1,\alpha_2,\Delta}$，这些度量在多种数据集上与黄金标准编辑距离表现出显著更强的一致性，相较于传统的 $Fid_+$、$Fid_-$ 和 $Fid_\Delta$，在一致性和可靠性方面表现更优。

ABSTRACT

Graph Neural Networks (GNNs) are neural models that leverage the dependency structure in graphical data via message passing among the graph nodes. GNNs have emerged as pivotal architectures in analyzing graph-structured data, and their expansive application in sensitive domains requires a comprehensive understanding of their decision-making processes -- necessitating a framework for GNN explainability. An explanation function for GNNs takes a pre-trained GNN along with a graph as input, to produce a `sufficient statistic' subgraph with respect to the graph label. A main challenge in studying GNN explainability is to provide fidelity measures that evaluate the performance of these explanation functions. This paper studies this foundational challenge, spotlighting the inherent limitations of prevailing fidelity metrics, including $Fid_+$, $Fid_-$, and $Fid_Δ$. Specifically, a formal, information-theoretic definition of explainability is introduced and it is shown that existing metrics often fail to align with this definition across various statistical scenarios. The reason is due to potential distribution shifts when subgraphs are removed in computing these fidelity measures. Subsequently, a robust class of fidelity measures are introduced, and it is shown analytically that they are resilient to distribution shift issues and are applicable in a wide range of scenarios. Extensive empirical analysis on both synthetic and real datasets are provided to illustrate that the proposed metrics are more coherent with gold standard metrics. The source code is available at https://trustai4s-lab.github.io/fidelity.

研究动机与目标

• 识别并解决现有GNN解释精确度度量的根本缺陷——对子图移除引起的分布偏移敏感。
• 基于充分统计量和最小子图大小，建立形式化、信息论定义的GNN可解释性。
• 开发理论基础坚实、对现实图数据中分布偏移具有鲁棒性的代理精确度度量。
• 在合成和真实世界数据集上，通过与黄金标准编辑距离对比，实证验证所提度量。
• 为图学习中的XAI提供稳定、确定性的评估框架，避免依赖复杂且非确定性的方法。

提出的方法

• 引入基于信息论的可解释性定义，要求子图是标签的（几乎）充分统计量且大小最小。
• 提出新的精确度度量：$Fid_{\\alpha_1,+}$、$Fid_{\\alpha_2,-}$ 和 $Fid_{\\alpha_1,\\alpha_2,\\Delta}$，通过控制边的移除和保留率来缓解分布偏移。
• 采用参数化扰动策略，其中 $\alpha_1$ 控制 $Fid_{\alpha_1,+}$ 中从解释子图中移除的边的比例，$\alpha_2$ 控制 $Fid_{\alpha_2,-}$ 中从未解释子图中保留的边的比例。
• 使用所提度量与黄金标准编辑距离之间的Spearman等级相关系数作为主要评估指标，覆盖多个数据集和模型。
• 采用受控实验设置，每个数据集进行50次采样迭代，以确保相关系数的统计可靠性。
• 在合成数据集（Tree-Cycles、Tree-Grid、BA-2motifs）和真实世界数据集（MUTAG）上，使用GCN和GIN模型验证度量。

(a) $Fid_{\alpha_{1},+}$ on Tree-Circles

实验结果

研究问题

• RQ1 为何传统精确度度量如 $Fid_+$、$Fid_-$ 和 $Fid_\Delta$ 由于分布偏移而无法与黄金标准解释质量对齐？
• RQ2 基于理论基础的信息论框架是否能带来更稳健、更可靠的GNN精确度度量？
• RQ3 所提出的参数化度量 $Fid_{\alpha_1,+}$ 和 $Fid_{\alpha_2,-}$ 相较于基线度量，在与黄金标准编辑距离的一致性方面改善程度如何？
• RQ4 超参数 $\alpha_1$ 和 $\alpha_2$ 如何影响所提度量的鲁棒性及其与黄金标准的相关性？
• RQ5 为何现有度量无法评估GIN在Tree-Grid数据集上的表现，而所提框架是否解决了这一问题？

主要发现

• 所提出的 $Fid_{\alpha_1,+}$ 度量在所有数据集上均与黄金标准编辑距离保持 -1.000 的Spearman等级相关系数，表明其具有稳健的逆相关关系。
• 原始 $Fid_+$ 度量表现出不一致的相关系数（如Tree-Cycles上为0.229，BA-2motifs上为-0.924），凸显其不稳定性及与黄金标准的不一致。
• 所提出的 $Fid_{\alpha_2,-}$ 在Tree-Grid和BA-2motifs上与黄金标准达到完美的1.000相关系数，显著优于原始 $Fid_-$，后者结果混杂不一。
• $Fid_{\alpha_1,\alpha_2,\Delta}$ 度量在所有数据集上与黄金标准达到完美的 -1.000 相关系数，证明其卓越的一致性与鲁棒性。
• 边分类的AUC度量与黄金标准编辑距离完全对齐（相关系数 = -1.000），验证了其用作可靠基准的有效性。
• 所有精确度度量均无法对GIN模型在Tree-Grid数据集上的表现进行评估，可能归因于其在节点分类任务中的泛化能力差，而所提度量未能解决此局限性。

(b) $Fid_{\alpha_{2},-}$ on Tree-Circles