[论文解读] MxPool: Multiplex Pooling for Hierarchical Graph Representation Learning

Yanyan Liang, Yanfeng Zhang+2 more|arXiv (Cornell University)|Apr 15, 2020

Advanced Graph Neural Networks参考文献 33被引用 5

一句话总结

MxPool 提出了一种多路图神经网络架构，通过同时使用多个图卷积和池化网络并结合可学习的注意力权重，以应对图表示学习中异质图属性的挑战。通过动态注意力自适应图的大小、度数和边数，MxPool 在基准图分类数据集上实现了最先进性能，优于现有方法（包括 DiffPool）。

ABSTRACT

How to utilize deep learning methods for graph classification tasks has attracted considerable research attention in the past few years. Regarding graph classification tasks, the graphs to be classified may have various graph sizes (i.e., different number of nodes and edges) and have various graph properties (e.g., average node degree, diameter, and clustering coefficient). The diverse property of graphs has imposed significant challenges on existing graph learning techniques since diverse graphs have different best-fit hyperparameters. It is difficult to learn graph features from a set of diverse graphs by a unified graph neural network. This motivates us to use a multiplex structure in a diverse way and utilize a priori properties of graphs to guide the learning. In this paper, we propose MxPool, which concurrently uses multiple graph convolution/pooling networks to build a hierarchical learning structure for graph representation learning tasks. Our experiments on numerous graph classification benchmarks show that our MxPool has superiority over other state-of-the-art graph representation learning methods.

研究动机与目标

• 解决在具有不同大小和结构特性的异质图上训练统一图神经网络的挑战。
• 克服在多样化图上图卷积和池化层中固定超参数的局限性。
• 设计一种分层图表示学习框架，能够动态适应图的特定属性（如节点数、边数和平均度）。
• 实现多个卷积和池化网络间端到端的注意力权重学习，以优先关注相关图特征。
• 通过利用多路结构更有效地处理结构多样性，从而提升图分类性能。

提出的方法

• MxPool 使用多个并行的图卷积网络（GCNs），采用不同的隐藏维度设置，以学习针对图大小量身定制的节点级表示。
• 它使用多个具有不同粗化比率的图池化网络，将图下采样至一致大小，同时最小化信息损失。
• 利用图的先验属性（如节点数、边数、平均度）计算每个卷积和池化网络的可学习注意力权重。
• 注意力机制动态地为最适合给定图结构特性的网络分配更高的权重。
• 通过拼接并聚合所有多路卷积和池化流的输出，获得最终的图级表示。
• 整个架构采用端到端训练，使注意力权重能够自适应地学习每个输入图的最优网络组合。

实验结果

研究问题

• RQ1 具有多个 GCN 和池化网络的多路架构是否能提升在异质图上的图表示学习性能？
• RQ2 基于图的先验属性（如大小、度数）学习注意力权重，是否能优于固定或均匀的超参数设置？
• RQ3 多路网络的数量如何影响模型性能和泛化能力？
• RQ4 注意力机制是否能有效学习根据图的结构多样性来优先选择不同的卷积和池化网络？
• RQ5 MxPool 是否在标准图分类基准上优于最先进方法（如 DiffPool）？

主要发现

• 在 PROTEINS 和 ENZYMES 图分类基准上，MxPool 实现了最先进性能，当使用 3-4 个多路网络时，PROTEINS 准确率达到 78.40%，ENZYMES 达到 69.53%。
• 并行使用多个卷积和池化网络并结合可学习注意力，优于单网络基线模型，其中 MCMP（多路卷积与多路池化）表现最佳。
• MxPool 学习到的注意力权重与图大小强相关：较小图在小维度 GCN 和低粗化比率池化网络上获得更高注意力。
• 实验表明，小图与大图在嵌入大小和粗化比率方面具有相反的最优值，验证了多路自适应的必要性。
• 当多路网络数量超过 4 个时，性能下降，表明由于参数量增加导致过拟合。
• 不同节点数、边数和平均度的图，其卷积和池化网络的注意力权重分布存在显著差异，证实了模型的自适应行为。