[论文解读] Zero-shot Transfer Learning within a Heterogeneous Graph via Knowledge Transfer Networks

Minji Yoon, John Palowitch+4 more|arXiv (Cornell University)|Mar 3, 2022

Advanced Graph Neural Networks被引用 4

一句话总结

本文提出知识迁移网络（KTN），一种用于异质图的零样本迁移学习框架，通过建模异质图神经网络（HGNN）中节点类型特定的特征提取器之间的理论关系，将标签丰富的节点类型的知识迁移至零标签节点类型。KTN在零标签节点上的HGNN性能提升最高达960%，在18项迁移学习任务中，相较于最先进基线模型，性能最高提升73%。

ABSTRACT

Data continuously emitted from industrial ecosystems such as social or e-commerce platforms are commonly represented as heterogeneous graphs (HG) composed of multiple node/edge types. State-of-the-art graph learning methods for HGs known as heterogeneous graph neural networks (HGNNs) are applied to learn deep context-informed node representations. However, many HG datasets from industrial applications suffer from label imbalance between node types. As there is no direct way to learn using labels rooted at different node types, HGNNs have been applied to only a few node types with abundant labels. We propose a zero-shot transfer learning module for HGNNs called a Knowledge Transfer Network (KTN) that transfers knowledge from label-abundant node types to zero-labeled node types through rich relational information given in the HG. KTN is derived from the theoretical relationship, which we introduce in this work, between distinct feature extractors for each node type given in an HGNN model. KTN improves performance of 6 different types of HGNN models by up to 960% for inference on zero-labeled node types and outperforms state-of-the-art transfer learning baselines by up to 73% across 18 different transfer learning tasks on HGs.

研究动机与目标

• 解决工业场景中异质图的标签不平衡问题，即某些节点类型标签丰富，而其他节点类型完全无标签。
• 克服标准HGNN的局限性，其为每类节点类型使用独立的特征提取器，导致无法直接从有标签类型向无标签类型进行知识迁移。
• 开发一种方法，实现在单一异质图内有效的零样本迁移学习，利用关系结构连接标签稀缺与标签丰富的节点类型。
• 为HGNN中节点类型特定的特征提取器之间的关系建立理论基础，以实现跨不同节点类型的知识迁移。
• 在多种HGNN架构及真实世界和合成的异质图基准上，验证KTN的有效性。

提出的方法

• 对HGNN中梯度路径的理论分析表明，每类节点类型具有独立的特征提取器，这使得从有标签类型直接向无标签类型迁移知识变得不可行。
• 提出知识迁移网络（KTN），用于建模源节点类型（有标签）与目标节点类型（无标签）之间特征提取器的分布关系。
• KTN学习一种变换，将目标节点嵌入映射到源节点嵌入的分布中，从而实现有效的零样本推理。
• KTN与HGNN端到端联合优化，采用对比损失函数，将目标节点嵌入对齐至源域分布。
• KTN与架构无关，可应用于任何具有类型特定参数的HGNN模型，如MPNN、R-GCN、HGT、HAN、MAGNN和HMPNN。
• 该方法在真实世界（Open Academic Graph、PubMed）和合成异质图上，基于18项迁移学习任务，使用多种HGNN主干网络进行了评估。

实验结果

研究问题

• RQ1 尽管每类节点类型具有独立的特征提取器，是否仍能有效实现从标签丰富的节点类型向零标签节点类型的跨类型知识迁移？
• RQ2 HGNN中节点类型特定的特征提取器之间存在何种理论关系，使得此类迁移成为可能？
• RQ3 在异质图的零样本迁移学习中，KTN与最先进领域自适应方法相比表现如何？
• RQ4 在何种结构和分布条件下，异质图中的跨类型知识迁移最为有效？
• RQ5 KTN是否能在多种HGNN架构和异质图结构上实现泛化？

主要发现

• KTN在六种不同HGNN模型上，将零标签节点类型的推理性能最高提升960%，证明了其在零样本迁移中的显著增益。
• 在18项不同的异质图迁移学习任务中，KTN相较于最先进领域自适应基线方法（DAN、JAN、DANN、CDAN、CDAN-E、WDGRL），性能最高提升73%。
• 该方法在多种HGNN架构中表现优异，包括MPNN、R-GCN、HGT、HAN、MAGNN和HMPNN，证实了其泛化能力。
• 实证结果表明，即使源节点与目标节点在结构上差异显著，KTN也能显著缓解无标签情况下的性能下降。
• 合成图生成器显示，当源节点类型与目标节点类型通过多种边类型具有强关系连通时，知识迁移效果最佳。
• KTN在全部18项任务中均实现一致提升，证实了其在真实世界和合成异质图场景下的鲁棒性与可靠性。