[论文解读] Pre-training Graph Neural Networks.

Weihua Hu, Bowen Liu+5 more|arXiv (Cornell University)|May 29, 2019

Computational Drug Discovery Methods被引用 33

一句话总结

本文提出了一种图神经网络（GNN）的双层次预训练框架，结合使用无标签和有标签的辅助数据，在节点层次和图层次进行预训练，以提升在低数据量和分布外设置下的泛化能力。该方法在分子性质预测和蛋白质功能预测任务中显著提升了性能，在多个基准测试中分别实现了平均7.2%和11.7%的ROC-AUC提升。

ABSTRACT

Many applications of machine learning in science and medicine, including molecular property and protein function prediction, can be cast as problems of predicting some properties of graphs, where having good graph representations is critical. However, two key challenges in these domains are (1) extreme scarcity of labeled data due to expensive lab experiments, and (2) needing to extrapolate to test graphs that are structurally different from those seen during training. In this paper, we explore pre-training to address both of these challenges. In particular, working with Graph Neural Networks (GNNs) for representation learning of graphs, we wish to obtain node representations that (1) capture similarity of nodes' network neighborhood structure, (2) can be composed to give accurate graph-level representations, and (3) capture domain-knowledge. To achieve these goals, we propose a series of methods to pre-train GNNs at both the node-level and the graph-level, using both unlabeled data and labeled data from related auxiliary supervised tasks. We perform extensive evaluation on two applications, molecular property and protein function prediction. We observe that performing only graph-level supervised pre-training often leads to marginal performance gain or even can worsen the performance compared to non-pre-trained models. On the other hand, effectively combining both node- and graph-level pre-training techniques significantly improves generalization to out-of-distribution graphs, consistently outperforming non-pre-trained GNNs across 8 datasets in molecular property prediction (resp. 40 tasks in protein function prediction), with the average ROC-AUC improvement of 7.2% (resp. 11.7%).

研究动机与目标

• 解决科学和医学图学习应用中极端标签稀缺的挑战。
• 提升对与训练数据在结构上不同的分布外图的泛化能力。
• 开发一种能够捕捉结构相似性、组合式图表示和领域知识的预训练策略。
• 克服仅依赖图层次预训练的局限性，后者通常无法提升性能，甚至可能造成性能下降。

提出的方法

• 使用捕捉邻域结构相似性的自监督目标，在节点层次对GNN进行预训练。
• 使用来自相关辅助任务的有标签数据，在图层次对GNN进行预训练，以改善图层次表示学习。
• 结合节点层次和图层次的预训练，以利用无标签数据和有标签数据的互补信号。
• 在节点层次使用对比学习目标，以促使结构邻域相似的节点具有相似的表示。
• 利用来自相关任务的图层次监督信号，引导全局图表示的学习。
• 在下游低资源预测任务上微调预训练的GNN，以评估其泛化能力。

实验结果

研究问题

• RQ1 节点层次的预训练是否能提升GNN在低数据量图学习场景下的泛化能力？
• RQ2 仅使用图层次预训练是否能带来一致的性能提升，还是可能造成性能下降？
• RQ3 结合节点层次和图层次预训练如何影响对分布外图的泛化能力？
• RQ4 来自相关任务的辅助有标签数据在分子和蛋白质功能预测中的下游性能提升程度如何？
• RQ5 预训练能否有效捕捉科学图应用中的领域知识和结构相似性？

主要发现

• 仅使用图层次监督预训练通常只能带来微小的性能提升，甚至可能劣于非预训练模型。
• 结合节点层次和图层次预训练在8个分子性质预测数据集上均一致地提升了泛化能力。
• 联合预训练方法在分子性质预测任务中实现了平均7.2%的ROC-AUC提升。
• 在蛋白质功能预测任务中，该方法在40项任务上实现了平均11.7%的ROC-AUC提升。
• 在分布外泛化方面，该方法显著优于非预训练的GNN，尤其在数据稀缺条件下表现更优。
• 当同时优化节点层次和图层次信号时，预训练的效果最为显著。