[论文解读] Self-supervised Training of Graph Convolutional Networks

Qikui Zhu, Bo Du+1 more|arXiv (Cornell University)|Jun 3, 2020

Advanced Graph Neural Networks参考文献 21被引用 27

一句话总结

该论文提出两种自监督学习策略——随机移除边（RRL）和随机掩码特征（RCF），以在无需标注数据的情况下提升图卷积网络（GCNs）的性能。通过利用图结构和节点特征作为预训练任务，该方法增强了特征学习能力，并在引文网络上显著提升了分类准确率，在Cora、Citeseer和PubMed数据集上均达到了当前最优性能，GCN平均提升2.65%，GAT平均提升0.70%。

ABSTRACT

Graph Convolutional Networks (GCNs) have been successfully applied to analyze non-grid data, where the classical convolutional neural networks (CNNs) cannot be directly used. One similarity shared by GCNs and CNNs is the requirement of massive amount of labeled data for network training. In addition, GCNs need the adjacency matrix as input to define the relationship between those non-grid data, which leads to all of data including training, validation and test data typically forms only one graph structures data for training. Furthermore, the adjacency matrix is usually pre-defined and stationary, which makes the data augmentation strategies cannot be employed on the constructed graph structures data to augment the amount of training data. To further improve the learning capacity and model performance under the limited training data, in this paper, we propose two types of self-supervised learning strategies to exploit available information from the input graph structure data itself. Our proposed self-supervised learning strategies are examined on two representative GCN models with three public citation network datasets - Citeseer, Cora and Pubmed. The experimental results demonstrate the generalization ability as well as the portability of our proposed strategies, which can significantly improve the performance of GCNs with the power of self-supervised learning in improving feature learning.

研究动机与目标

• 解决GCN在训练过程中对大量标注数据的依赖问题，尤其是在低数据量场景下的局限性。
• 克服静态、预定义图结构导致GCN中难以进行数据增强的挑战。
• 通过利用图结构和节点特征的内在特性，无需人工标注，提升GCN的特征学习能力。
• 开发可泛化且可移植于不同GCN架构和数据集的自监督学习策略。

提出的方法

• 引入两种自监督预训练任务：随机移除边（RRL）和随机掩码特征（RCF），以生成代理监督信号。
• 通过在模型末尾添加边预测头，对GCN和GAT模型进行修改，以在预训练任务上进行训练。
• 使用Adam优化器配合L2正则化和Dropout，在原始图上对随机移除边（RRL）和掩码节点特征（RCF）进行训练。
• 将自监督预训练阶段学习到的权重用于初始化分类头，随后在下游节点分类任务上进行微调。
• 使用t-SNE可视化分析自监督预训练所学习到的节点表征质量。
• 在多个运行（10次）中评估性能，以确保统计稳健性，并报告均值准确率及其95%置信区间。

实验结果

研究问题

• RQ1 在标注数据稀缺的情况下，自监督学习能否提升GCN的特征表征能力？
• RQ2 RRL和RCF作为预训练任务，在引文网络基准上对提升GCN性能的效率如何？
• RQ3 该自监督预训练策略是否能在不同GCN架构（如GCN和GAT）之间实现泛化？
• RQ4 RRL和RCF在提升最终分类准确率方面，各自和联合贡献程度如何？
• RQ5 自监督学习是否能在不依赖额外标注的情况下，实现在标准引文网络数据集上的SOTA性能？

主要发现

• RRL与RCF联合使用（RRL & RCF）在Cora数据集上表现最佳，显著优于单一策略和基线GCN模型。
• RRL和RCF单独使用均较基线提升了GCN准确率，且配对t检验的p值均小于0.05，证实具有统计显著性。
• RRL & RCF策略在Citeseer、Cora和PubMed上的GCN性能平均提升了2.65%，表明其具备强大的泛化能力和可移植性。
• GAT模型同样从自监督策略中获益，平均提升0.70%，表明该方法在不同架构间具有鲁棒性。
• t-SNE可视化结果表明，自监督学习生成的节点表征更具判别性且类别间分离更清晰，优于原始输入特征。
• 所提出的SSL方法在全部三个引文网络数据集上均达到了SOTA性能，验证了其有效性与可迁移性。