[论文解读] SLAPS: Self-Supervision Improves Structure Learning for Graph Neural Networks

Bahare Fatemi, Layla El Asri+1 more|arXiv (Cornell University)|Feb 9, 2021

Advanced Graph Neural Networks被引用 63

一句话总结

SLAPS 引入自监督目标，以提升 GNN 的任务特定潜在图结构学习，解决监督匮乏问题并扩展到大规模图；它在多个基准数据集上优于现有潜在图基线。

ABSTRACT

Graph neural networks (GNNs) work well when the graph structure is provided. However, this structure may not always be available in real-world applications. One solution to this problem is to infer a task-specific latent structure and then apply a GNN to the inferred graph. Unfortunately, the space of possible graph structures grows super-exponentially with the number of nodes and so the task-specific supervision may be insufficient for learning both the structure and the GNN parameters. In this work, we propose the Simultaneous Learning of Adjacency and GNN Parameters with Self-supervision, or SLAPS, a method that provides more supervision for inferring a graph structure through self-supervision. A comprehensive experimental study demonstrates that SLAPS scales to large graphs with hundreds of thousands of nodes and outperforms several models that have been proposed to learn a task-specific graph structure on established benchmarks.

研究动机与目标

• 在无法获得显式图拓扑时，激发学习任务特定的图结构。
• 识别监督匮乏问题，即远离带标签节点的边在标准潜在图学习中获得的监督很少。
• 开发 SLAPS，以自监督去噪目标 jointly 学习邻接矩阵和 GNN 参数。
• 证明 SLAPS 可扩展至拥有数十万节点的图，并在基准上优于基线。

提出的方法

• 提出一个四组件模型：生成器、邻接处理器、分类器和自监督模块。
• 使用两种生成器变体（FP 和 MLP-kNN）从节点特征生成候选邻接矩阵。
• 将生成的邻接矩阵处理为对称且非负，并对其进行归一化以输入至 GCN。
• 引入一个自监督去噪自编码任务（GNN_DAE），使用生成的邻接重构被掩蔽/噪声的特征，并以 L = L_C + lambda L_DAE 的联合损失训练 SLAPS。

实验结果

研究问题

• RQ1 自监督是否能缓解 GNN 潜在图学习中的监督匮乏？
• RQ2 在标准基准上，SLAPS 是否相对于现有潜在图基线提升预测性能？
• RQ3 不同的图生成器如何影响 SLAPS 的性能和可扩展性？
• RQ4 自监督是否使 SLAPS 能扩展到如 ogbn-arxiv 这样的大规模图？

主要发现

• SLAPS 在既定的节点分类基准上始终优于基线。
• 在生成器中，MLP-D 在特征丰富的数据集上通常表现出色，而 MLP 在特征较少的数据集上表现更好。
• 带自训练的 SLAPS 能带来额外提升；AdaEdge 的影响取决于数据集，且在 SLAPS 已给出同质图时通常有限。
• 在 ogbn-arxiv 上，基线潜在图方法因内存问题而效果不佳；SLAPS 能扩展并保持竞争力。
• 在 MNIST 和其他非图数据集上，SLAPS 变体在可比设置下优于多种强基线，包括 LDS 和 IDGL。