[论文解读] Transfer Learning of Graph Neural Networks with Ego-graph Information Maximization

Qi Zhu, Carl Yang+4 more|arXiv (Cornell University)|Sep 10, 2020

Advanced Graph Neural Networks被引用 37

一句话总结

本论文提出 Ego-Graph Information Maximization (Egi) 用于通过对 k-hop 自我图结构的建模与匹配在图之间传递 GNN，并基于局部图拉普拉斯提供理论可转移性保证，在合成数据和真实数据集上进行了实证验证。

ABSTRACT

Graph neural networks (GNNs) have achieved superior performance in various applications, but training dedicated GNNs can be costly for large-scale graphs. Some recent work started to study the pre-training of GNNs. However, none of them provide theoretical insights into the design of their frameworks, or clear requirements and guarantees towards their transferability. In this work, we establish a theoretically grounded and practically useful framework for the transfer learning of GNNs. Firstly, we propose a novel view towards the essential graph information and advocate the capturing of it as the goal of transferable GNN training, which motivates the design of EGI (Ego-Graph Information maximization) to analytically achieve this goal. Secondly, when node features are structure-relevant, we conduct an analysis of EGI transferability regarding the difference between the local graph Laplacians of the source and target graphs. We conduct controlled synthetic experiments to directly justify our theoretical conclusions. Comprehensive experiments on two real-world network datasets show consistent results in the analyzed setting of direct-transfering, while those on large-scale knowledge graphs show promising results in the more practical setting of transfering with fine-tuning.

研究动机与目标

• 提出一个理论基础扎实的框架，用于在不同图之间传递 GNN（直接迁移）。
• 引入 Egi，通过最大化自我图结构与节点嵌入之间的互信息来捕捉图的本质信息。
• 在结构保持的节点特征下，通过局部图拉普拉斯分析可转移性。
• 用合成实验和真实数据集验证理论，展示相较基线的迁移性能提升。

提出的方法

• 将图表示为来自 k-hop 自我图和节点特征联合分布的样本，以定义图信息和相似性。
• 将 Ego-Graph Information Maximization (Egi) 定义为最大化自我图与 GNN 输出之间的互信息，使用基于 BFS 有序边的判别器。
• 使用两个 GNN 编码器：中心节点编码器 Psi 和邻居节点编码器 Phi，以及一个联合评分函数来区分真实 vs 负的自我图-边对。
• 给出对 Egi 的双重解释，作为自我图重构损失上界，与 VGAE 及其他 MI-based GNN 方法相关联，但强调结构胜于节点特征。
• 提供可迁移性分析（Theorem 3.1），证明性能差距被自我图拉普拉斯差异项 Δ_D(G_a,G_b) 所界定。
• 描述实际使用场景：无需目标标签的直接迁移，以及通过微调进行的迁移学习。

实验结果

研究问题

• RQ1 在什么条件下，用源图 G_a 训练的 GNN 可以在不进行微调的情况下有效迁移到目标图 G_b？
• RQ2 通过局部自我图拉普拉斯矩阵量化的图结构差异如何影响 Egi 目标下 GNN 的可迁移性？
• RQ3 结构保持的节点特征是否对迁移性至关重要，以及它们如何影响 Egi 在跨图上的性能？
• RQ4 在直接迁移和少-shot 迁移场景下，Egi 与现有自监督和预训练的 GNN 方法相比有何差异？
• RQ5 我们能否基于 Egi 差距度量 Δ_D(G_a,G_b) 事先评估或选择要进行迁移的源图？

主要发现

• 在使用与结构相关的可迁移特征（例如节点度的一 hot 编码）在相似和不相似的图之间，Egi 在直接迁移的角色识别任务中优于基线。
• 使用不可迁移的特征会极大损害迁移性，强调需要结构保持的节点特征。
• Egi 的可迁移性与通过局部自我图拉普拉斯矩阵计算的结构差异 Δ_D(G_a,G_b) 相关，验证定理 3.1 的理论界限。
• 在 Airport 数据集上，Egi 在欧洲、美国和巴西网络中达到最佳或具竞争力的性能，且通常比基线具有统计显著的提升。
• 在 Gene 数据集上，Egi 显示出与小 Δ_D 值相一致的负向到正向转移模式，支持结构相似性与转移增益之间的关系。
• 在合成实验中，Δ_D(F,F) 小于 Δ_D(B,F)，而 Egi 对源图与目标图越相似的情形表现出更大的迁移增益。