[论文解读] SizeShiftReg: a Regularization Method for Improving Size-Generalization in Graph Neural Networks

Davide Buffelli, Píetro Lió+1 more|arXiv (Cornell University)|Jul 16, 2022

Advanced Graph Neural Networks被引用 12

一句话总结

本文提出 SizeShiftReg，一种正则化方法，通过图粗化模拟尺寸变化，并利用中心矩差异（CMD）强制原始图嵌入与粗化图嵌入之间的分布相似性，从而提升图神经网络（GNN）在从小图到大图时的泛化能力。当应用于 GCN 和 PNA 等标准 GNN 时，该方法在测试集上图的规模为训练图 3–9 倍的情况下，性能最高提升 30%。

ABSTRACT

In the past few years, graph neural networks (GNNs) have become the de facto model of choice for graph classification. While, from the theoretical viewpoint, most GNNs can operate on graphs of any size, it is empirically observed that their classification performance degrades when they are applied on graphs with sizes that differ from those in the training data. Previous works have tried to tackle this issue in graph classification by providing the model with inductive biases derived from assumptions on the generative process of the graphs, or by requiring access to graphs from the test domain. The first strategy is tied to the quality of the assumptions made for the generative process, and requires the use of specific models designed after the explicit definition of the generative process of the data, leaving open the question of how to improve the performance of generic GNN models in general settings. On the other hand, the second strategy can be applied to any GNN, but requires access to information that is not always easy to obtain. In this work we consider the scenario in which we only have access to the training data, and we propose a regularization strategy that can be applied to any GNN to improve its generalization capabilities from smaller to larger graphs without requiring access to the test data. Our regularization is based on the idea of simulating a shift in the size of the training graphs using coarsening techniques, and enforcing the model to be robust to such a shift. Experimental results on standard datasets show that popular GNN models, trained on the 50% smallest graphs in the dataset and tested on the 10% largest graphs, obtain performance improvements of up to 30% when trained with our regularization strategy.

研究动机与目标

• 解决 GNN 在图尺寸泛化能力差的严峻挑战，即模型在训练数据中未出现的更大图上表现不佳。
• 克服先前方法依赖领域特定归纳偏置或需要访问测试分布图的局限性。
• 开发一种通用正则化策略，适用于任意 GNN 模型，无需修改架构或依赖推理时的数据。
• 提升图分类任务中对图尺寸变化的鲁棒性，尤其在大规模图标注成本高昂或不可行的场景下。

提出的方法

• 通过图粗化技术生成每个训练图的粗化版本，模拟训练图中的尺寸变化。
• 训练 GNN 模型，使其在原始图和对应粗化图上生成的节点嵌入在分布上相似。
• 使用中心矩差异（CMD）作为差异度量，最小化原始图与粗化图嵌入之间的分布差异。
• 将基于 CMD 的正则化整合到标准 GNN 训练目标中，实现无需架构修改的端到端优化。
• 在训练过程中对最小的 50% 图应用该正则化，同时在最大的 10% 图上进行评估，以测试尺寸泛化能力。
• 采用能保持结构和特征信息的粗化函数，以确保尺寸变换过程中的表征保真度。

实验结果

研究问题

• RQ1 是否存在一种通用正则化方法，可在不假设数据生成过程的前提下，提升 GNN 从小图到大图的泛化能力？
• RQ2 基于粗化的数据增强结合 CMD 正则化，在图分类任务中是否能有效提升尺寸泛化能力？
• RQ3 当仅能访问训练数据时，所提方法是否优于依赖领域自适应或归纳偏置的现有方法？
• RQ4 标准 GNN 模型如 GCN 和 PNA 在使用 SizeShiftReg 训练后，其在大图上的性能可提升多大程度？
• RQ5 该正则化方法在具有不同尺寸和结构特性的多样化图数据集上是否具备鲁棒性？

主要发现

• 与标准训练相比，SizeShiftReg 在训练图规模 3 至 9 倍大的测试图上，GNN 性能最高提升 30%。
• 该方法在 OGB-Mol、OGB-Products 和 PROTEINS 等基准数据集上取得显著提升，即使仅在最小的 50% 图上进行训练亦然。
• 正则化方法在多种 GNN 架构（包括 GCN、PNA 和 GIN）上均有效，证明其具备良好的泛化能力。
• 基于 CMD 的差异最小化在促进对尺寸变化的鲁棒性方面，优于 MMD 等其他差异度量方法。
• 该方法无需访问测试分布图或领域标签，使其在实际场景中更具实用性，尤其在数据有限时。
• 实证结果表明，SizeShiftReg 有效缓解了在分布外图尺寸下的性能下降，即使测试图远大于训练图也表现稳健。