[论文解读] Multi-task Self-supervised Graph Neural Networks Enable Stronger Task Generalization

Mingxuan Ju, Tong Zhao+5 more|arXiv (Cornell University)|Oct 5, 2022

Advanced Graph Neural Networks被引用 7

一句话总结

ParetoGNN 提出了一种多任务自监督图神经网络，通过基于不同学习哲学（如互信息最大化、特征重建和白化去相关性）的多种掩蔽任务，利用多梯度下降算法实现帕累托最优，从而联合优化多个掩蔽任务。该方法在节点分类、聚类、链接预测和划分任务中实现了更强的任务泛化能力，在11个基准数据集上优于最先进方法，平均性能排名提升2.5分。

ABSTRACT

Self-supervised learning (SSL) for graph neural networks (GNNs) has attracted increasing attention from the graph machine learning community in recent years, owing to its capability to learn performant node embeddings without costly label information. One weakness of conventional SSL frameworks for GNNs is that they learn through a single philosophy, such as mutual information maximization or generative reconstruction. When applied to various downstream tasks, these frameworks rarely perform equally well for every task, because one philosophy may not span the extensive knowledge required for all tasks. To enhance the task generalization across tasks, as an important first step forward in exploring fundamental graph models, we introduce PARETOGNN, a multi-task SSL framework for node representation learning over graphs. Specifically, PARETOGNN is self-supervised by manifold pretext tasks observing multiple philosophies. To reconcile different philosophies, we explore a multiple-gradient descent algorithm, such that PARETOGNN actively learns from every pretext task while minimizing potential conflicts. We conduct comprehensive experiments over four downstream tasks (i.e., node classification, node clustering, link prediction, and partition prediction), and our proposal achieves the best overall performance across tasks on 11 widely adopted benchmark datasets. Besides, we observe that learning from multiple philosophies enhances not only the task generalization but also the single task performances, demonstrating that PARETOGNN achieves better task generalization via the disjoint yet complementary knowledge learned from different philosophies. Our code is publicly available at https://github.com/jumxglhf/ParetoGNN.

研究动机与目标

• 为解决现有自监督图神经网络任务泛化能力有限的问题，这些方法通常依赖单一学习哲学，在多样化下游任务中表现不佳。
• 探究将具有不同底层哲学的多种自监督掩蔽任务相结合，是否能提升在多个图学习任务中的泛化能力。
• 开发一种方法，能够主动从所有掩蔽任务中学习，同时最小化任务间的冲突，且不依赖图同质性等归纳偏置。
• 证明来自多种哲学的互不重叠但互补的知识，能够同时提升多任务和单任务性能。

提出的方法

• ParetoGNN 使用单一图编码器，同时优化多个基于不同学习哲学（如互信息最大化、特征重建、白化）的自监督掩蔽任务。
• 采用多梯度下降算法，动态分配来自不同掩蔽任务的梯度权重，以促进帕累托最优并平衡冲突目标。
• 通过在训练过程中不强制实施伪同质性或任务特定归纳偏置，避免对同质性假设的依赖。
• 通过帕累托约束优化过程，以联合损失端到端训练框架，平衡所有掩蔽任务的梯度。
• 该方法在11个广泛使用的基准数据集上进行评估，涵盖四类下游任务：节点分类、节点聚类、链接预测和划分预测。

实验结果

研究问题

• RQ1 将多种具有不同学习哲学的自监督掩蔽任务相结合，是否能提升在多个下游图学习任务中的泛化能力？
• RQ2 一种避免同质性假设的多任务自监督框架，是否仍能在异质图上实现强性能？
• RQ3 通过帕累托优化的多梯度方法，能否有效调和来自不同掩蔽任务的冲突目标，而不牺牲任一任务的性能？
• RQ4 从多种互补哲学中学习，是否不仅能提升单任务性能，还能增强多任务泛化能力？

主要发现

• ParetoGNN 在全部11个基准数据集上取得最佳整体性能，相比7种最先进自监督学习（SSL）图神经网络，在平均性能排名上提升2.5分。
• 该方法在参数量更少的模型（如128或256维）下，仍优于单任务SSL基线方法（如BGRL），表明对模型容量具有更强鲁棒性。
• 性能提升不仅体现在多任务泛化能力上，也体现在各个独立下游任务中，证实了不同哲学间互补知识的增强作用。
• 实证结果表明，先前方法（如AutoSSL）因对某些掩蔽任务（如DGI）赋予零权重而忽略其贡献，损害了泛化能力；而ParetoGNN通过主动学习所有任务避免了这一问题。
• 当节点特征信息较少时，该框架仍保持强性能，优于基于特征重建的方法（如GraphMAE）在低信息特征设置下的表现。