[论文解读] Quantifying the Knowledge in GNNs for Reliable Distillation into MLPs

Lirong Wu, Haitao Lin+2 more|arXiv (Cornell University)|Jun 9, 2023

Advanced Graph Neural Networks被引用 5

一句话总结

本文提出知识启发的可靠蒸馏（KRD），通过信息熵的扰动不变性来量化图神经网络（GNNs）中知识的可靠性，以识别并优先选择可靠节点，将知识蒸馏至多层感知机（MLPs）。KRD在7个数据集和3种GNN架构上，使学生MLP的性能相比原始MLP提升12.62%，相比教师GNN平均提升2.16%。

ABSTRACT

To bridge the gaps between topology-aware Graph Neural Networks (GNNs) and inference-efficient Multi-Layer Perceptron (MLPs), GLNN proposes to distill knowledge from a well-trained teacher GNN into a student MLP. Despite their great progress, comparatively little work has been done to explore the reliability of different knowledge points (nodes) in GNNs, especially their roles played during distillation. In this paper, we first quantify the knowledge reliability in GNN by measuring the invariance of their information entropy to noise perturbations, from which we observe that different knowledge points (1) show different distillation speeds (temporally); (2) are differentially distributed in the graph (spatially). To achieve reliable distillation, we propose an effective approach, namely Knowledge-inspired Reliable Distillation (KRD), that models the probability of each node being an informative and reliable knowledge point, based on which we sample a set of additional reliable knowledge points as supervision for training student MLPs. Extensive experiments show that KRD improves over the vanilla MLPs by 12.62% and outperforms its corresponding teacher GNNs by 2.16% averaged over 7 datasets and 3 GNN architectures.

研究动机与目标

• 解决GNN到MLP蒸馏中的欠自信问题，即蒸馏后的MLP无法达到教师GNN的预测置信度。
• 探究GNN中单个知识点（节点）的可靠性，因为现有方法对所有节点一视同仁，未评估其信息量或鲁棒性。
• 开发一种方法，仅识别并利用GNN中最具可靠性的知识点，以提升蒸馏质量和学生模型性能。
• 通过引入可靠监督增强知识蒸馏，弥合拓扑感知GNN与高效、低延迟MLP之间的性能差距。
• 提供一种原理清晰、可量化的GNN节点可靠性度量，同时考虑时间特性（蒸馏速度）和空间特性（图分布）

提出的方法

• 提出基于扰动不变性的度量方法，通过测量节点信息熵在噪声扰动下的稳定性来量化知识可靠性。
• 利用扰动不变性得分建模每个节点为信息丰富且可靠的知識点的概率，从而实现对可靠节点的基于概率的采样。
• 引入一种知识启发的采样策略，从GNN输出中选择额外的可靠知识点，作为MLP训练期间的自监督信号。
• 为学生MLP设计双损失训练目标：一个用于从教师GNN进行标准蒸馏，另一个用于使用所选可靠知识点进行自监督。
• 采用基于动量的更新机制，在训练过程中稳定节点可靠性概率的估计。
• 在多种GNN架构（GCN、GAT、GraphSAGE）和数据集（Cora、Citeseer、PubMed、Photo、CS、Physics）上应用该框架，以验证其泛化能力。

Figure 1: Mean, standard deviation, and minimum/maximum classification accuracy of student MLPs trained with different combinations of (randomly sampled) GNN knowledge points on Cora .

实验结果

研究问题

• RQ1 GNN中单个知识点的可靠性在噪声扰动下的不变性如何变化？
• RQ2 使用不可靠与可靠知识点对蒸馏MLP的性能和置信度有何影响？
• RQ3 通过扰动不变性建模节点可靠性，能否提升GNN到MLP蒸馏中的性能和泛化能力？
• RQ4 可靠知识点的时间特性（蒸馏速度）和空间特性（图分布）如何影响蒸馏结果？
• RQ5 与标准蒸馏相比，通过可靠节点引入额外自监督是否能减少蒸馏MLP中的欠自信问题？

主要发现

• 在7个数据集和3种GNN架构上，KRD相比原始MLP平均提升12.62%，相比对应教师GNN平均提升2.16%。
• 使用KRD训练的MLP置信度分布显著高于GLNN，后者因缺乏可靠监督而存在欠自信问题。
• 基于知识的采样优于无采样、随机采样和基于熵的采样，且使用所提出的可靠性度量时性能最佳。
• 所提出的扰动不变性度量揭示，可靠知识点在图中并非均匀分布，且其蒸馏速度随时间变化。
• 超参数敏感性分析表明，损失权重λ和动量率η需仔细调优，η = 0.9或0.99时表现最优。
• 该方法在不同GNN架构（GCN、GAT、GraphSAGE）和数据集上均表现出良好泛化能力，体现其鲁棒性与可扩展性。

Figure 4: Percentage of highly reliable knowledge points on Cora to show the distillation speeds of different knowledge points.