[论文解读] Parameterized Explainer for Graph Neural Network

Dongsheng Luo, Wei Cheng+5 more|arXiv (Cornell University)|Nov 9, 2020

Advanced Graph Neural Networks被引用 211

一句话总结

PGExplainer 提出了一种参数化、全局训练的 GNN 解释器，通过学习共享的边分布模型来跨多个实例解释预测，在解释质量方面达到最先进水平，并显著提升相对于实例特定方法的速度。

ABSTRACT

Despite recent progress in Graph Neural Networks (GNNs), explaining predictions made by GNNs remains a challenging open problem. The leading method independently addresses the local explanations (i.e., important subgraph structure and node features) to interpret why a GNN model makes the prediction for a single instance, e.g. a node or a graph. As a result, the explanation generated is painstakingly customized for each instance. The unique explanation interpreting each instance independently is not sufficient to provide a global understanding of the learned GNN model, leading to a lack of generalizability and hindering it from being used in the inductive setting. Besides, as it is designed for explaining a single instance, it is challenging to explain a set of instances naturally (e.g., graphs of a given class). In this study, we address these key challenges and propose PGExplainer, a parameterized explainer for GNNs. PGExplainer adopts a deep neural network to parameterize the generation process of explanations, which enables PGExplainer a natural approach to explaining multiple instances collectively. Compared to the existing work, PGExplainer has better generalization ability and can be utilized in an inductive setting easily. Experiments on both synthetic and real-life datasets show highly competitive performance with up to 24.7\% relative improvement in AUC on explaining graph classification over the leading baseline.

研究动机与目标

• 说明相较于逐实例的局部解释，需要对 GNNs 提供全局、归纳型的解释。
• 提出一个参数化的解释器，在实例之间共享参数以实现集体级的解释。
• 将解释建模为边分布，使用概率图模型并通过神经网络学习。
• 在合成数据和真实数据集上，展示比基线更优的解释质量和更快的推理速度。

提出的方法

• 将解释性子图 Gs 定义为尽可能保留 GNN 对 Yo 的预测信息的结构。
• 将边的选择放宽为 Gilbert 随机图，边 eij ~ Bern(theta_ij)，并通过重参数化技巧优化互信息。
• 使用二元具体分布对 hat{Gs} 进行采样，温度 tau 以实现可微分优化。
• 通过一个共享的解释网络 g_Psi(Go, Z) 将边选择对数 Omega 参数化，该网络以 GNN 的节点表示 Z 作为输入。
• 对于节点分类，设定 omega_ij = MLP_Psi([z_i; z_j; z_v]); 对于图分类，设定 omega_ij = MLP_Psi([z_i; z_j]).
• 在采样的图上，优化原始预测 Yo 与预测的 hat{Ys} 之间的交叉熵，以学习 Psi。

实验结果

研究问题

• RQ1 一个参数化的解释器是否能够学习在多种图实例和设置（传导式和归纳式）下泛化的解释？
• RQ2 全局解释器相较于实例特定方法，在解释质量方面是否更好或相当，同时在效率上有显著提升？
• RQ3 就解释质量与速度而言，PGExplainer 在节点级与图级分类任务上的表现如何？

主要发现

• PGExplainer 在基线方法之上取得了最先进的解释 AUC 增益，在图分类上高达 24.7%，在节点分类上高达 13.0%。
• 解释网络在实例之间共享，使得能够进行归纳解释而无需重新训练，并带来显著的加速。
• 在合成数据和真实数据集上，PGExplainer 始终能够识别驱动预测的类聚的子结构（如 MUTAG 中的 NO2 基团）。
• 解释新实例所需的推理时间远低于 GNNExplainer 所需的重新训练（例如，最多快 108 倍）。
• 全局解释提供了对 GNN 决策的连贯、群体层面的视角，并相较于逐实例解释提升了泛化能力。