[论文解读] Understanding Pooling in Graph Neural Networks

Daniele Grattarola, Daniele Zambon+2 more|arXiv (Cornell University)|Oct 11, 2021

Advanced Graph Neural Networks被引用 4

一句话总结

本文提出一个统一框架SRC（选择、压缩、连接），通过将图池化分解为三个核心操作，形式化地定义图神经网络中的图池化。该研究提出了超过30种池化方法的分类体系，基于三种标准（属性保持、结构保持和任务适应性）进行评估，发现并无单一方法在所有情况下均表现最优——这为实践者提供了指导，使其可根据任务需求（如结构保持或可训练灵活性）选择合适的池化策略。

ABSTRACT

Inspired by the conventional pooling layers in convolutional neural networks, many recent works in the field of graph machine learning have introduced pooling operators to reduce the size of graphs. The great variety in the literature stems from the many possible strategies for coarsening a graph, which may depend on different assumptions on the graph structure or the specific downstream task. In this paper we propose a formal characterization of graph pooling based on three main operations, called selection, reduction, and connection, with the goal of unifying the literature under a common framework. Following this formalization, we introduce a taxonomy of pooling operators and categorize more than thirty pooling methods proposed in recent literature. We propose criteria to evaluate the performance of a pooling operator and use them to investigate and contrast the behavior of different classes of the taxonomy on a variety of tasks.

研究动机与目标

• 为解决图神经网络中图池化算子缺乏统一形式化的问题，尽管这些算子被广泛使用，但在文献中却缺乏标准化。
• 将图池化形式化为三个操作的组合：选择（节点分组）、压缩（特征聚合）和连接（边重构）。
• 基于可学习性、复杂度、输出大小和池化策略（分层式 vs. 全局式）四个维度，构建一个包含三十余种现有池化方法的全面分类体系。
• 定义并应用三种评估标准——属性保持、结构保持和任务特定适应性——以在多样化的基准上比较不同池化算子。
• 提供实用指南及与框架无关的Python API，用于在图神经网络中实现和评估池化算子。

提出的方法

• 提出一个模块化、形式化的框架，将图池化分解为三个函数：选择（将节点分组为超节点）、压缩（按超节点聚合节点特征）和连接（在超节点间重构边）。
• 将SRC函数形式化为节点和图嵌入操作，利用近期图神经网络通用性理论，实现对任意池化算子的通用近似。
• 从四个维度对池化方法进行分类：可学习性（可学习 vs. 不可学习）、复杂度（线性 vs. 二次）、输出大小（固定 vs. 可变）以及池化策略（分层式 vs. 全局式）。
• 定义三种评估标准：(1) 节点属性信息的保持，(2) 原始图拓扑结构的保持（通过谱对齐和拉普拉斯对齐衡量），(3) 对下游任务的适应性（以下游准确率衡量）。
• 实现一个标准化的、与框架无关的Python API（SRC），以支持池化算子的可复现性与在图神经网络库中的集成。
• 在合成数据集和真实世界数据集（如PROTEINS、MUTAG、ModelNet10）上开展大量实验，基于所定义的标准评估并对比不同池化类别的性能。

实验结果

研究问题

• RQ1 如何在单一、模块化的框架下统一形式化图池化算子？
• RQ2 文献中提出的多样化图池化方法在结构和功能上的关键差异是什么？
• RQ3 哪些池化算子特性（可学习性、复杂度、输出大小、策略）最影响在不同类型图和任务上的性能表现？
• RQ4 不同池化算子在多大程度上保持了节点属性、图结构和任务特定信息？
• RQ5 系统性评估框架能否识别出特定应用场景下最合适的池化方法？

主要发现

• 并无单一池化算子在所有数据集和评估标准下始终优于其他方法；性能显著依赖于任务类型和图结构。
• 非可学习、稀疏型方法（如Graclus和NDP）在多个基准（包括Enzymes和Mutagenicity）上达到最高平均准确率，表明其具有较强的泛化能力。
• 在大规模数据集（如ModelNet10）上，基于谱的方法（MinCut、NDP）和可学习的稠密方法（DiffPool）表现最佳，其中MinCut达到83.9%的准确率。
• 可学习的稠密池化算子（如DiffPool、MinCut）在保持结构信息方面表现更优，这通过拉普拉斯二次损失和谱对齐指标得以验证。
• 可学习的稀疏方法常会丢弃整个图子结构，导致信息损失并降低性能，因此总体上不推荐使用。
• 在某些数据集（如Mutagenicity）上，无池化基线方法的表现优于部分池化方法，表明图池化并非总是有益，应谨慎使用。