[论文解读] The expressive power of pooling in Graph Neural Networks

Filippo Maria Bianchi, Veronica Lachi|arXiv (Cornell University)|Apr 4, 2023

Advanced Graph Neural Networks被引用 8

一句话总结

本文提出一个原理性、充分条件的 pooling 运算符标准，用于保持前序图神经网络层的表达能力，分析现有池化方法，并引入 EXPWL1 以实证测试同构判别能力。

ABSTRACT

In Graph Neural Networks (GNNs), hierarchical pooling operators generate local summaries of the data by coarsening the graph structure and the vertex features. While considerable attention has been devoted to analyzing the expressive power of message-passing (MP) layers in GNNs, a study on how graph pooling affects the expressiveness of a GNN is still lacking. Additionally, despite the recent advances in the design of pooling operators, there is not a principled criterion to compare them. In this work, we derive sufficient conditions for a pooling operator to fully preserve the expressive power of the MP layers before it. These conditions serve as a universal and theoretically grounded criterion for choosing among existing pooling operators or designing new ones. Based on our theoretical findings, we analyze several existing pooling operators and identify those that fail to satisfy the expressiveness conditions. Finally, we introduce an experimental setup to verify empirically the expressive power of a GNN equipped with pooling layers, in terms of its capability to perform a graph isomorphism test.

研究动机与目标

• 推动需要在下游任务表现之外评估池化对 GNN 表达力影响的必要性
• 推导在何种充分条件下池化能保留 MP 层的表达力
• 将现有池化算子按表达力标准进行分类
• 提供一个经验评估协议和专用数据集 EXPWL1 用以测试池化引起的表达力
• 为设计或选择能保持判别能力的池化算子提供指导

提出的方法

• 采用 Select-Reduce-Connect (SRC) 池化框架将池化建模为 SEL、RED、CON 函数
• 证明定理 1：存在三条充分条件，确保池化保留前序 MP 层的表达力
• 将池化算子分解为密集 vs 稀疏、可训练 vs 不可训练、固定 vs 自适应等类别，并使用 SRC 框架进行分析
• 在 EXPWL1 上评估池化算子以验证 WL 级别的判别能力，并在标准图分类基准数据集上进行评估
• 给出经验性结果，展示表达力相关的池化在池化后仍能维持 WL 区分能力的情况

实验结果

研究问题

• RQ1 池化算子是否能保留其前序 MP 层的表达力？
• RQ2 要保留 WL 级别的判别力，池化算子需要满足哪些充分条件？
• RQ3 哪些现有池化算子满足或违反这些条件，这如何影响表达力？
• RQ4 在存在池化层时，如何实证测量 GNN 的表达力？
• RQ5 基于 EXPWL1 的评估是否与在真实世界图分类基准上的表现一致？

主要发现

Pooling	s/epoch	GIN layers	Pool Ratio	Test Acc	Expressive
No-pool	0.33s	3	–	99.3±0.3	✓
DiffPool	0.69s	2+1	0.1	97.0±2.4	✓
DMoN	0.75s	2+1	0.1	99.0±0.7	✓
MinCut	0.72s	2+1	0.1	98.8±0.4	✓
ECPool	20.71s	2+1	0.2	100.0±0.0	✓
Graclus	1.00s	2+1	0.1	99.9±0.1	✓
k MIS	1.17s	2+1	0.1	99.9±0.1	✓
Top- k	0.47s	2+1	0.1	67.9±13.9	✗
PanPool	3.82s	2+1	0.1	63.2±7.7	✗
ASAPool	1.11s	1+1	0.1	83.5±2.5	✗
SAGPool	0.59s	1+1	0.1	79.5±9.6	✗
Rand-dense	0.41s	2+1	0.1	91.7±1.3	✓
Cmp-Graclus	8.08s	2+1	0.1	91.9±1.2	✓
Rand-sparse	0.47s	2+1	0.1	62.8±1.8	✗

• 存在三条充分条件，在这些条件下池化可以保留与前序 MP 层相同水平的表达力
• 密集且可训练的池化算子若满足条件，在池化后仍保持 WL 判别能力
• 不具表达力的稀疏池化算子（如 Top-k、PanPool、ASAPool、SAGPool）不满足条件并降低表达力
• 在 EXPWL1 上的实验结果表明，具表达力的池化算子几乎达到 100% 的准确率，接近无池化基线，而不具表达力的算子表现较差
• Rand-dense 与 Cmp-Graclus 虽然具表达力，但因图结构扭曲等原因仍低于最佳表达方法
• 在基准数据集上，具表达力的池化方法优于不具表达力的方法，从而验证理论标准