[论文解读] Self-supervised Auxiliary Learning for Graph Neural Networks via Meta-Learning

Dasol Hwang, Jinyoung Park+4 more|ArXiv.org|Mar 1, 2021

Advanced Graph Neural Networks参考文献 73被引用 4

一句话总结

本文提出 SELAR，一种元学习框架，可自动选择并平衡自监督辅助任务——特别是元路径预测——以提升异质图神经网络在节点分类和链接预测等主任务上的表现。通过学习任务特定的加权函数并使用提示网络（Hint Network）校正预测，SELAR 在无需人工标注或额外数据的情况下增强表征学习，实现在多个数据集上的一致性能提升。

ABSTRACT

In recent years, graph neural networks (GNNs) have been widely adopted in the representation learning of graph-structured data and provided state-of-the-art performance in various applications such as link prediction, node classification, and recommendation. Motivated by recent advances of self-supervision for representation learning in natural language processing and computer vision, self-supervised learning has been recently studied to leverage unlabeled graph-structured data. However, employing self-supervision tasks as auxiliary tasks to assist a primary task has been less explored in the literature on graphs. In this paper, we propose a novel self-supervised auxiliary learning framework to effectively learn graph neural networks. Moreover, this work is the first study showing that a meta-path prediction is beneficial as a self-supervised auxiliary task for heterogeneous graphs. Our method is learning to learn a primary task with various auxiliary tasks to improve generalization performance. The proposed method identifies an effective combination of auxiliary tasks and automatically balances them to improve the primary task. Our methods can be applied to any graph neural network in a plug-in manner without manual labeling or additional data. Also, it can be extended to any other auxiliary tasks. Our experiments demonstrate that the proposed method consistently improves the performance of node classification and link prediction.

研究动机与目标

• 为解决多任务图神经网络训练中的负迁移问题，通过自动识别图结构数据中的有效辅助任务。
• 通过在异质图上利用自监督学习，无需人工标注或额外数据，提升图神经网络的泛化能力。
• 开发一种可插拔的框架，兼容任意图神经网络架构，并通过元学习动态平衡主任务与辅助任务。
• 提出元路径预测作为专为异质图设计的新型自监督辅助任务，以捕捉丰富的语义关系。
• 通过学习动态加权函数，聚焦于困难样本并提升知识迁移，从而增强下游任务的模型性能。

提出的方法

• 该框架将辅助任务选择与损失加权建模为元学习问题，其中元学习器优化多个任务的损失权重。
• 无需人工标注，自动从异质图中生成元路径，作为自监督辅助任务。
• 引入提示网络（Hint Network），动态校正学习器在具有挑战性的辅助任务上的预测，提升知识迁移效果。
• 该方法使用任务特定的加权函数，对交叉熵损失进行调整，类似于焦点损失（focal loss），以降低易样本的权重并聚焦于困难样本。
• 加权函数在训练过程中动态演化，初期聚焦于易样本，后期逐渐转向困难样本，同时对主任务给予更高关注。
• 该框架为即插即用设计，兼容任意图神经网络架构，并可扩展至自监督与监督型辅助任务。

实验结果

研究问题

• RQ1 自监督辅助任务能否提升图神经网络在节点分类与链接预测等主任务上的性能？
• RQ2 元路径预测是否是异质图中一种有效的自监督辅助任务？其表征学习效果是否优于其他辅助任务？
• RQ3 元学习方法能否自动识别并平衡多个辅助任务，以避免负迁移并提升泛化能力？
• RQ4 动态加权函数如何影响学习过程，特别是在跨任务聚焦于困难样本方面？
• RQ5 提示网络是否能通过校正困难辅助任务的预测，进一步提升性能？

主要发现

• SELAR 在多个数据集（包括 Last-FM 和 Book-Crossing）上持续提升节点分类与链接预测的性能。
• 将元路径预测作为辅助任务可带来显著性能增益，尤其在捕捉异质图中的用户偏好模式方面表现突出。
• SELAR 学习到的加权函数更关注困难样本，尤其是在主任务中，且在训练过程中动态实现从易样本到困难样本的关注转移。
• 提示网络显著提升了辅助任务的增益，尤其在辅助任务具有挑战性或与主任务关联较弱时效果更明显。
• 在 Book-Crossing 数据集上，框架对 'user-item' 主任务和 'user-item-literary.series.item-user' 元路径赋予更高关注，表明其有效捕捉了用户偏好的相似性。
• 在训练后期，加权函数对损失极低或极高样本的值趋近于零，表明对已正确分类或严重误分类样本的重要性降低。