[论文解读] On Graph Classification Networks, Datasets and Baselines
该论文表明，简单的模型——如全局池化MLP、单层GCN或带跳跃连接（JK）的固定权重GCN——在图分类基准上实现了最先进性能，通常优于更深、更复杂的架构。作者将深层模型训练动态不佳的原因归因于标准初始化下的梯度消失，并建议将这些简单模型作为未来评估的基准。
Graph classification receives a great deal of attention from the non-Euclidean machine learning community. Recent advances in graph coarsening have enabled the training of deeper networks and produced new state-of-the-art results in many benchmark tasks. We examine how these architectures train and find that performance is highly-sensitive to initialisation and depends strongly on jumping-knowledge structures. We then show that, despite the great complexity of these models, competitive performance is achieved by the simplest of models -- structure-blind MLP, single-layer GCN and fixed-weight GCN -- and propose these be included as baselines in future.
研究动机与目标
- 探究为何具有top-k池化和跳跃连接（JK）结构的深层图神经网络（GNN）尽管具备理论优势，却难以泛化。
- 评估初始化在具有top-k池化的深层GNN中对梯度流动和训练稳定性的影响。
- 证明简单模型——尤其是结构无关的MLP和单层GCN——在标准图分类基准上具有竞争力或更优的性能。
- 倡导在未来GNN研究中纳入这些简单模型作为强大且最小化的基线，以确保公平评估和有意义的消融研究。
提出的方法
- 采用改进归一化的标准GCN（自连接权重设为2）和ReLU激活函数。
- 通过保留得分最高的节点，应用可学习投影向量的top-k池化来对图进行粗化。
- 使用跳跃连接（JK）通过拼接、求和或最大池化的方式聚合各层表示。
- 提出ReInit初始化方案，以保持各层间激活方差，缓解梯度消失问题。
- 训练模型时启用和禁用权重衰减，以评估从不良初始化中恢复的动力学。
- 使用10折交叉验证划分，在多个数据集（Reddit、DD、Collab、Proteins）上比较性能。
实验结果
研究问题
- RQ1为何具有top-k池化和JK连接的深层GNN尽管架构复杂，却难以有效训练？
- RQ2标准初始化在深层GNN中如何影响梯度流动和激活传播？
- RQ3简单模型如MLP或单层GCN在标准图分类基准上在多大程度上优于复杂架构？
- RQ4ReInit策略能否有效恢复深层GNN的训练动力学，是否能提升泛化性能？
- RQ5复杂GNN组件是否真正必要，还是仅放大了GCN或MLP等简单子网络的性能增益？
主要发现
- 在标准Glorot/He初始化下，具有top-k池化的深层GNN在后期层中出现激活和梯度消失，表现显著下降。
- 全局池化MLP在DD数据集上达到80.22%的准确率，优于GraphSAGE和Set2Set等更复杂的模型，表明其基线性能极强。
- 带JK连接的单层GCN（JK-Sum）在Reddit数据集上达到47.16%的准确率，与或超过DiffPool和Graph U-Net等深层模型的性能。
- 即使固定权重的GCN（GCN-R-MLP）在DD数据集上也达到78.61%的准确率，表明GCN的结构信息无需训练即可提供充分性能。
- ReInit初始化可使所有层从训练开始即可训练，但并未在性能上一致优于标准初始化配合充分训练的设置。
- 在使用权重衰减时，深层网络无法从不良初始化中恢复；在不使用时，训练需超过800个周期才能稳定，表明深层模型的归纳偏差较差。
更好的研究，从现在开始
从阅读论文到最终审阅，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。