[论文解读] Self-supervised Auxiliary Learning with Meta-paths for Heterogeneous Graphs

Dasol Hwang, Jinyoung Park+4 more|arXiv (Cornell University)|Jul 16, 2020

Advanced Graph Neural Networks参考文献 69被引用 38

一句话总结

本论文提出 SELAR，这是一个元学习框架，使用元路径预测作为异构图上的自监督辅助任务，自动平衡这些任务以提升主任务（如链接预测和节点分类），并可选地引入 HintNet 以应对更困难的任务。

ABSTRACT

Graph neural networks have shown superior performance in a wide range of applications providing a powerful representation of graph-structured data. Recent works show that the representation can be further improved by auxiliary tasks. However, the auxiliary tasks for heterogeneous graphs, which contain rich semantic information with various types of nodes and edges, have less explored in the literature. In this paper, to learn graph neural networks on heterogeneous graphs we propose a novel self-supervised auxiliary learning method using meta-paths, which are composite relations of multiple edge types. Our proposed method is learning to learn a primary task by predicting meta-paths as auxiliary tasks. This can be viewed as a type of meta-learning. The proposed method can identify an effective combination of auxiliary tasks and automatically balance them to improve the primary task. Our methods can be applied to any graph neural networks in a plug-in manner without manual labeling or additional data. The experiments demonstrate that the proposed method consistently improves the performance of link prediction and node classification on heterogeneous graphs.

研究动机与目标

• 通过元路径预测作为自监督辅助任务，利用异构图中的丰富语义信息。
• 自动选择并加权多种辅助任务，从而在不增加额外数据标签的情况下改善主任务。
• 引入基于元学习的平衡机制，以减轻负迁移和任务支配。
• 通过 HintNet 增强学习，使对主任务学习者更具挑战性的辅助任务更易解决。

提出的方法

• 将元路径预测作为辅助任务，以捕捉异构图语义。
• 采用基于元学习的加权函数，软性地将辅助任务与主任务进行平衡。
• 引入一个通过基于梯度的更新近似的嵌套优化框架，用以学习任务权重（Theta）和模型参数（w）。
• 实现 Hint Network（HintNet），调整辅助任务提示并提高学习者的性能。
• 提供类交叉验证的元数据集更新，以减缓元过拟合（在实验中使用 3 折 CV）。
• Demonstrate plug-in applicability to existing GNNs (e.g., GCN, GAT, GIN, SGConv, GTN).

实验结果

研究问题

• RQ1 元路径预测是否能提升异构图上的表示学习？
• RQ2 SELAR 与 HintNet 是否能进一步提升基于元路径的辅助学习以服务于主任务？
• RQ3 为什么所提出的方法有效——权重和硬负样本在实践中的作用是什么？
• RQ4 交叉验证在元学习的辅助任务中如何影响元过拟合？

主要发现

• 元路径预测在多种 GNN 主干网络上持续提升链接预测和节点分类。
• 与 vanilla 训练相比，SELAR 和 SELAR+Hint 在链接预测上取得显著的绝对提升（例如 Last-FM 约提升 2.0%、Book-Crossing 约提升 2.7%；在节点分类上 IMDB 约提升 3.0%）。
• 仅仅添加元路径而不进行元学习可能略有提升或略有下降；SELAR 与 HintNet 提供最强的改进。
• SELAR+HintNet 学到的加权函数关注困难样本并有效降低易样本权重，类似 focal loss 的行为。
• 用于元学习的交叉验证可以减少元过拟合，并带来比单折配置更大的增益。