[论文解读] Towards Explanation for Unsupervised Graph-Level Representation Learning

Qinghua Zheng, Jihong Wang+5 more|arXiv (Cornell University)|May 20, 2022

Explainable Artificial Intelligence (XAI)被引用 4

一句话总结

本文提出无监督子图信息瓶颈（USIB），一种基于信息瓶颈原理的新方法，用于解释图神经网络生成的无监督图级表征。通过最大化解释性子图与表征之间的互信息，同时最小化冗余，USIB在合成数据上实现了最先进水平的解释保真度，并在理论上将表征的鲁棒性与表达能力与解释质量联系起来。

ABSTRACT

Due to the superior performance of Graph Neural Networks (GNNs) in various domains, there is an increasing interest in the GNN explanation problem "\emph{which fraction of the input graph is the most crucial to decide the model's decision?}" Existing explanation methods focus on the supervised settings, \eg, node classification and graph classification, while the explanation for unsupervised graph-level representation learning is still unexplored. The opaqueness of the graph representations may lead to unexpected risks when deployed for high-stake decision-making scenarios. In this paper, we advance the Information Bottleneck principle (IB) to tackle the proposed explanation problem for unsupervised graph representations, which leads to a novel principle, extit{Unsupervised Subgraph Information Bottleneck} (USIB). We also theoretically analyze the connection between graph representations and explanatory subgraphs on the label space, which reveals that the expressiveness and robustness of representations benefit the fidelity of explanatory subgraphs. Experimental results on both synthetic and real-world datasets demonstrate the superiority of our developed explainer and the validity of our theoretical analysis.

研究动机与目标

• 为解决图神经网络生成的无监督图级表征解释这一尚未被探索的问题。
• 开发一种方法，识别出对表征决策最具信息量的子图，且不依赖标签。
• 建立表征质量（表达能力与鲁棒性）与解释保真度之间的理论联系。
• 克服解释空间中子图（非欧几里得）与表征（欧几里得）之间比较的挑战。
• 在合成与真实世界图数据集上展示所提方法的有效性。

提出的方法

• 提出 USIB，一种基于信息瓶颈原理的新型解释框架，用于识别最能预测图表征的子图。
• 通过互信息形式化解释任务：最大化 I(子图; 表征) 并最小化 I(子图; 输入图)。
• 使用互信息的可微分松弛形式，通过梯度下降优化子图选择。
• 集成子图掩码机制，实现解释器与 GNN 编码器的端到端训练。
• 理论分析表明，表达能力强且鲁棒的表征可产生更高保真度的解释。
• 将方法应用于微调前与微调后的 GNN，以评估其在不同模型容量下的泛化能力。

实验结果

研究问题

• RQ1 我们能否开发一种忠实且通用的无监督图级表征解释方法？
• RQ2 图表征的表达能力与鲁棒性如何影响解释性子图的保真度？
• RQ3 在无监督设置下，表征质量与解释质量之间是否存在理论联系？
• RQ4 USIB 是否能在合成与真实世界图上超越现有无监督解释方法？
• RQ5 解释器的性能是否依赖于底层 GNN 的容量与训练策略？

主要发现

• USIB 在基准数据集上达到最先进性能，在合成 BA3 数据集上 ACC-AUC 提升 14.8%，Recall@5 提升 10.44%。
• 在真实世界数据集（NCI1、PROTEINS）上，USIB 超过其他无监督解释方法，但因缺乏标签监督，仍落后于监督基线。
• 表征表达能力（在干净图上的准确率）与解释保真度之间存在强烈正相关，尤其在模型准确率较高的数据集中更明显。
• 鲁棒性（在噪声图上的准确率）也与解释质量正相关，尤其在表达能力差异较小时更为显著。
• 定性结果表明，未微调的 GNN 专注于基础图结构，而微调后的模型则将注意力转向有意义的图样如“房屋”或“环”。
• USIB 的局限在于独立处理边，忽略了高阶子结构的重要性，提示未来需开展面向结构感知的解释研究。