[论文解读] Size-Invariant Graph Representations for Graph Classification Extrapolations
该论文提出了一种因果模型和一种与尺寸无关的图表示方法，使图神经网络能够在图大小和节点属性分布不同的分布外（OOD）测试数据上实现泛化。通过利用原因与机制之间的统计独立性（ICM）并使用子图的同态密度，该方法学习到的表示具有不变性，即使在训练图与测试图在大小上存在显著差异时，也能有效外推，优于IRL和GNN外推基线方法在真实世界和合成数据集上的表现。
In general, graph representation learning methods assume that the train and test data come from the same distribution. In this work we consider an underexplored area of an otherwise rapidly developing field of graph representation learning: The task of out-of-distribution (OOD) graph classification, where train and test data have different distributions, with test data unavailable during training. Our work shows it is possible to use a causal model to learn approximately invariant representations that better extrapolate between train and test data. Finally, we conclude with synthetic and real-world dataset experiments showcasing the benefits of representations that are invariant to train/test distribution shifts.
研究动机与目标
- 解决训练图与测试图在大小和节点属性分布上存在差异的分布外（OOD）图分类挑战。
- 开发一种图表示方法，使其在训练过程中未访问测试数据的情况下，仍能对未见的测试分布实现稳健泛化。
- 形式化一个结构因果模型（SCM），以捕捉图大小和属性分布的变化，从而支持不变表示学习。
- 证明基于同态密度的不变表示在泛化性能上优于现有方法（如IRL和基于GNN的外推技术）。
提出的方法
- 使用双网络DAG形式化结构因果模型（SCM），以表示测试分布相对于训练分布在图大小和节点属性方面的分布偏移。
- 应用原因与机制之间的统计独立性（ICM）假设，确保条件标签分布P(Y|G)在训练和测试分布之间保持不变。
- 使用小尺寸子图（k=4）的同态密度作为不变表示，通过Lovász-Szegedy框架计算，以捕捉不同大小图之间的结构不变性。
- 采用基于GNN的架构（3层）和MLP分类器，利用子图表示学习与尺寸无关的特征，从而在分布外测试数据上实现泛化。
- 调整学习率、批量大小和网络宽度等超参数，并基于验证性能使用早停策略以防止过拟合。
- 为进行对比，采用相同的OOD划分协议评估标准GNN、IRL和图核方法（如Weisfeiler-Lehman）的性能。
实验结果
研究问题
- RQ1在未访问测试数据的情况下，能否使图表示对图大小和节点属性分布的分布偏移保持不变？
- RQ2能否通过捕捉图大小和属性分布偏移的因果模型，实现图分类中更好的分布外泛化？
- RQ3小尺寸子图的同态密度能否作为分布外图分类的有效、与尺寸无关的表示？
- RQ4与IRL和基于GNN的外推方法相比，所提方法在分布外泛化性能方面表现如何？
主要发现
- 在NCI1、NCI109、PROTEINS和DD数据集的OOD测试划分下，该方法实现了最先进的分布外泛化性能。
- 在NCI1数据集上，该方法在最大10%的图上达到59.56%的测试准确率，优于IRL和GNN基线方法。
- 在DD数据集上，该方法在最大10%的图上达到58.65%的准确率，显著优于IRL和基于GNN的方法。
- 即使测试图远大于训练图，该方法仍能有效泛化，展现出强大的外推能力。
- 图核和标准GNN在OOD测试集上表现较差，尤其在大图上，凸显了缺乏不变性时分布泛化的局限性。
更好的研究，从现在开始
从阅读论文到最终审阅，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。