[论文解读] On Size Generalization in Graph Neural Networks

Gilad Yehudai, Ethan Fetaya+3 more|arXiv (Cornell University)|May 4, 2021

Advanced Graph Neural Networks参考文献 10被引用 3

一句话总结

本文研究了图神经网络（GNNs）为何在小图上进行训练后仍无法泛化到更大图的原因，证明性能下降是由于局部连接性和特征模式的分布差异所致。本文将规模泛化视为领域自适应问题，并提出了自监督和半监督学习设置，显著提升了在多个基准测试中对未见过的大图的泛化能力。

ABSTRACT

Graph neural networks (GNNs) can process graphs of different sizes but their capacity to generalize across sizes is still not well understood. Size generalization is key to numerous GNN applications, from solving combinatorial optimization problems to learning in molecular biology. In such problems, obtaining labels and training on large graphs can be prohibitively expensive, but training on smaller graphs is possible. This paper puts forward the size-generalization question and characterizes important aspects of that problem theoretically and empirically. We prove that even for very simple tasks, such as counting the number of nodes or edges in a graph, GNNs do not naturally generalize to graphs of larger size. Instead, their generalization performance is closely related to the distribution of local patterns of connectivity and features and how that distribution changes from small to large graphs. Specifically, we prove that for many tasks, there are weight assignments for GNNs that can perfectly solve the task on small graphs but fail on large graphs, if there is a discrepancy between their local patterns. We further demonstrate on several tasks, that training GNNs on small graphs results in solutions which do not generalize to larger graphs. We then formalize size generalization as a domain-adaption problem and describe two learning setups where size generalization can be improved. First, as a self-supervised learning problem (SSL) over the target domain of large graphs. Second as a semi-supervised learning problem when few samples are available in the target domain. We demonstrate the efficacy of these solutions on a diverse set of benchmark graph datasets.

研究动机与目标

• 理解为何在小图上训练的GNNs即使在理论上具备容量，仍常无法泛化到更大图。
• 识别不良规模泛化的核心原因，重点关注小图与大图之间局部连接性和特征模式的差异。
• 将规模泛化形式化为领域自适应问题，以实现系统性改进。
• 提出并评估两种学习设置——在大图上进行自监督学习，以及在目标域中使用少量标注样本的半监督学习，以增强泛化能力。
• 在多样化的图基准数据集上实证验证这些方法的有效性。

提出的方法

• 理论分析证明，GNNs 可在小图上完美解决简单任务（例如计数节点/边），但当局部模式分布不同时，其在大图上会失败。
• 本文将规模泛化视为领域自适应问题，将小图视为源域，大图视为目标域。
• 提出一种自监督学习（SSL）设置，通过对比学习在大图上进行预训练，以对齐局部结构和特征模式。
• 引入一种半监督学习设置，利用目标域中少量标注样本对在小图上训练的模型进行微调。
• 在多个基准数据集（包括引文网络和分子图）上评估所提方法，在受控的规模泛化设置下进行实验。
• 通过在仅使用小图训练后，评估模型在大图上的准确率，衡量泛化性能，对比有无所提方法的情况。

实验结果

研究问题

• RQ1 为何在小图上训练的GNNs即使在简单任务（如计数节点或边）上，也无法泛化到更大图？
• RQ2 小图与大图之间局部连接性和特征模式分布的变化如何影响GNN的泛化能力？
• RQ3 能否通过将规模泛化视为领域自适应问题来改善其性能？
• RQ4 在大图上进行自监督预训练是否能提升GNNs的泛化性能？
• RQ5 在目标域中仅使用少量标注样本，是否能在半监督设置中显著提升规模泛化能力？

主要发现

• 即使在简单计数任务中，GNNs 仍可能因局部模式分布差异而无法泛化到更大图，尽管其在小图上表现完美。
• 理论分析证实，GNNs 本身并非天然具备规模泛化能力；其性能关键取决于源图与目标图之间局部模式分布的相似性。
• 在大图上进行自监督学习显著提升了泛化能力，与标准训练相比，大幅减少了在未见大图上的性能下降。
• 仅使用目标域中少量标注样本进行半监督微调，即可在规模泛化方面带来显著提升。
• 所提方法在包括引文网络和分子图在内的多样化图数据集上，始终优于标准训练方法。
• 实证结果表明，泛化失败并非由模型容量不足引起，而是由于局部图结构的分布差异所致。