[论文解读] Rethinking pooling in graph neural networks
本论文表明局部汇聚对 GNN 的性能并非必需；非局部汇聚变体表现相当，卷积主要驱动学习表征。
Graph pooling is a central component of a myriad of graph neural network (GNN) architectures. As an inheritance from traditional CNNs, most approaches formulate graph pooling as a cluster assignment problem, extending the idea of local patches in regular grids to graphs. Despite the wide adherence to this design choice, no work has rigorously evaluated its influence on the success of GNNs. In this paper, we build upon representative GNNs and introduce variants that challenge the need for locality-preserving representations, either using randomization or clustering on the complement graph. Strikingly, our experiments demonstrate that using these variants does not result in any decrease in performance. To understand this phenomenon, we study the interplay between convolutional layers and the subsequent pooling ones. We show that the convolutions play a leading role in the learned representations. In contrast to the common belief, local pooling is not responsible for the success of GNNs on relevant and widely-used benchmarks.
研究动机与目标
- 质疑 GNN 中局部性保持汇聚的必要性。
- 评估非局部汇聚变体在标准图分类基准上的性能。
- 分析卷积层如何与汇聚交互以塑造表征。
- 提供简单基线以对 GNN 的汇聚设计选择进行理性检查。
提出的方法
- 复现实验中带汇聚的代表性模型（Graclus、DiffPool、GMN），并通过随机化或使用互补图简化汇聚。
- 在四个图分类数据集上进行评估（ZINC、NCI1、IMDB-B、SMNIST）以及额外数据集。
- 用非局部或随机汇聚变体替换学习的或基于聚类的汇聚。
- 检查学习的嵌入以理解汇聚的影响以及卷积中早期平滑的作用。
- 与全局汇聚基线进行比较，以评估汇聚的必要性。
实验结果
研究问题
- RQ1局部性保持的汇聚是否会对在标准基准上的 GNN 性能产生决定性影响？
- RQ2随机或非局部汇聚是否能匹配或超越传统汇聚方案的性能？
- RQ3卷积层如何影响 GNN 中汇聚的有效性？
- RQ4扩散基础方法中的聚类正则化损失是否对汇聚质量至关重要？
- RQ5在不同数据集上使用非局部汇聚对性能的影响如何？
主要发现
- 非局部汇聚变体（Complement、Uniform/Normal/Bernoulli random）在各任务中与本地汇聚对手相匹配或超过。
- Graclus 与 Complement 在 NCI1、IMDB-B、SMNIST、ZINC 上表现相似，Complement 与 Graclus 的差距很小。
- DiffPool 使用随机汇聚时平均准确率通常高于 DiffPool 在报道的任务。
- GMN 使用距离或随机变体的表现与 GMN 相当，且训练时间通常更快。
- 在汇聚前使用单一卷积显著降低性能，相较于多次卷积强调了早期平滑的重要性。
- 在多次卷积后进行全局平均汇聚的性能可与局部汇聚方法相当。
更好的研究，从现在开始
从论文设计到论文写作，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。