[论文解读] Task-Agnostic Graph Explanations

Yaochen Xie, Sumeet Katariya+5 more|arXiv (Cornell University)|Feb 16, 2022

Explainable Artificial Intelligence (XAI)被引用 4

一句话总结

本文提出 Tage，一种无需访问下游任务的、与任务无关的图神经网络（GNN）解释器，通过自监督训练学习图嵌入解释，从而实现对多任务 GNN 模型及单个嵌入维度的高效、统一解释。Tage 在显著降低推理时间的同时，实现了最先进的解释质量，尤其在多任务设置下表现优异，优于 GNNExplainer 和 PGExplainer 等特定任务基线模型。

ABSTRACT

Graph Neural Networks (GNNs) have emerged as powerful tools to encode graph-structured data. Due to their broad applications, there is an increasing need to develop tools to explain how GNNs make decisions given graph-structured data. Existing learning-based GNN explanation approaches are task-specific in training and hence suffer from crucial drawbacks. Specifically, they are incapable of producing explanations for a multitask prediction model with a single explainer. They are also unable to provide explanations in cases where the GNN is trained in a self-supervised manner, and the resulting representations are used in future downstream tasks. To address these limitations, we propose a Task-Agnostic GNN Explainer (TAGE) that is independent of downstream models and trained under self-supervision with no knowledge of downstream tasks. TAGE enables the explanation of GNN embedding models with unseen downstream tasks and allows efficient explanation of multitask models. Our extensive experiments show that TAGE can significantly speed up the explanation efficiency by using the same model to explain predictions for multiple downstream tasks while achieving explanation quality as good as or even better than current state-of-the-art GNN explanation approaches. Our code is pubicly available as part of the DIG library at https://github.com/divelab/DIG/tree/main/dig/xgraph/TAGE/.

研究动机与目标

• 解决现有特定任务 GNN 解释器在多任务和自监督学习设置下的效率低下与适用性不足问题。
• 实现单一解释器无需微调即可解释多个下游任务，提升可扩展性与部署效率。
• 开发一种无需依赖下游任务标签或预测结果的 GNN 嵌入解释器自监督训练框架。
• 在不依赖下游模型的前提下，为单个 GNN 嵌入维度提供忠实、稀疏且可解释的解释。
• 降低在拥有数百个下游任务的真实图数据集中的解释时间成本，使为每个任务单独训练解释器变得不可行。

提出的方法

• 将 GNN 模型分解为 GNN 嵌入模型和下游预测头，并分别为每个组件训练独立的解释器。
• 设计一种与任务无关的嵌入解释器（Tage），其基于图或节点嵌入的自监督对比学习目标进行训练，与下游任务无关。
• 采用条件输入机制，使解释器通过一个热力编码向量作为条件，以解释特定的嵌入维度。
• 利用原始子图与扰动子图之间的实例级对比学习进行解释器训练，优化解释的忠实度与稀疏性。
• 通过在不同下游模型上施加条件，复用已训练好的嵌入解释器来解释多个下游任务。
• 使用忠实度分数和边重要性排序评估解释质量，红色高亮边表示最重要的前 10% 边。

实验结果

研究问题

• RQ1 是否可以在不了解下游任务的情况下训练单一 GNN 解释器，并仍能为多个下游任务生成高质量解释？
• RQ2 与特定任务基线相比，无任务依赖解释器在忠实度与稀疏性方面的性能如何？
• RQ3 所提出的解释器是否能在不依赖下游预测的前提下，为单个 GNN 嵌入维度提供有意义的解释？
• RQ4 与为每个任务单独训练解释器相比，使用单一无任务依赖解释器在多个下游任务上的计算效率提升如何？
• RQ5 在下游模型非单射（non-injective）的情况下，基于嵌入的自监督训练是否比基于最终预测的训练提供更一致的解释？

主要发现

• Tage 在参数量相同的情况下，解释忠实度与稀疏性均优于 GNNExplainer 和 PGExplainer 等特定任务基线模型。
• 在多任务设置（T > 1）中，Tage 显著降低了解释时间成本，而 GNNExplainer 和 PGExplainer 需为每个任务单独训练，效率低下。
• Tage 生成的解释更具连贯性，能突出显示连通子结构（如分子中的功能基团），而基线模型常产生零散的边选择。
• 该解释器在无任何下游任务信息的情况下，仍能成功生成对单个嵌入维度的有意义解释，证明了模型学习表征的可解释性。
• 在解释嵌入维度时，忠实度分数保持较高水平，表明解释与下游预测任务保持一致且相关。
• 基于嵌入的自监督训练目标提供了强于基于任务目标的监督信号，尤其在非单射下游模型中，相似预测可能源于差异较大的嵌入。