[论文解读] Topology-Aware Graph Pooling Networks

Hongyang Gao, Yi Liu+1 more|arXiv (Cornell University)|Oct 19, 2020

Advanced Graph Neural Networks参考文献 32被引用 7

一句话总结

该论文提出了一种拓扑感知池化（TAP）层，通过在图粗化过程中显式地将局部和全局图拓扑结构融入节点排名，从而提升图神经网络的性能。该方法采用两阶段投票机制——通过节点邻域相似性进行局部投票，通过可学习投影进行全局投票，并结合图连通性项以提升粗化后图的连通性，实现了在图分类基准上的最先进性能，且参数开销极低。

ABSTRACT

Pooling operations have shown to be effective on computer vision and natural language processing tasks. One challenge of performing pooling operations on graph data is the lack of locality that is not well-defined on graphs. Previous studies used global ranking methods to sample some of the important nodes, but most of them are not able to incorporate graph topology. In this work, we propose the topology-aware pooling (TAP) layer that explicitly considers graph topology. Our TAP layer is a two-stage voting process that selects more important nodes in a graph. It first performs local voting to generate scores for each node by attending each node to its neighboring nodes. The scores are generated locally such that topology information is explicitly considered. In addition, graph topology is incorporated in global voting to compute the importance score of each node globally in the entire graph. Altogether, the final ranking score for each node is computed by combining its local and global voting scores. To encourage better graph connectivity in the sampled graph, we propose to add a graph connectivity term to the computation of ranking scores. Results on graph classification tasks demonstrate that our methods achieve consistently better performance than previous methods.

研究动机与目标

• 解决现有图池化方法在节点排名中未能显式编码图拓扑结构的局限性。
• 通过融合局部邻域结构和全局图拓扑结构，提升图粗化的质量。
• 通过引入连通性正则化项，降低粗化图中孤立节点的风险。
• 开发一种可扩展、参数高效的池化机制，以增强图神经网络的性能。
• 通过在多样化图数据集上的消融实验与对比研究，验证所提出TAP层的有效性。

提出的方法

• TAP层通过计算每个节点与其邻居之间的点积注意力相似度得分，执行局部投票，然后对这些得分取平均，以确定局部重要性。
• 全局投票通过可学习的投影向量实现，将每个节点的特征向量投影为标量，从而计算其全局重要性得分。
• 最终排名得分通过加权组合局部和全局投票得分计算得出，以平衡局部与全局拓扑感知能力。
• 引入图连通性项，利用节点度作为偏差，优先选择高度连接的节点，防止粗化图中出现孤立子图。
• TAP层被集成到拓扑感知池化网络（TAPNet）中，并引入辅助链接预测目标，以提升训练稳定性和表征学习能力。
• 该方法端到端训练，并在PTC、MUTAG、IMDB-BINARY和REDDIT-BINARY等标准图分类数据集上进行评估。

实验结果

研究问题

• RQ1 显式建模局部和全局图拓扑是否能改善图池化操作中的节点选择？
• RQ2 图连通性项的引入如何影响粗化图的质量与连通性？
• RQ3 在TAP层中，用于平衡局部拓扑与连通性的超参数λ有何影响？
• RQ4 TAP层是否在多样化图分类数据集上均带来一致的性能提升？
• RQ5 与top-k和SortPool等现有池化方法相比，TAP层在性能与参数效率方面表现如何？

主要发现

• 在REDDIT-BINARY数据集上，TAP层相比无TAP层的TAPNet实现了3.6%的准确率提升，证明了其有效性。
• 引入辅助链接预测的TAPNet性能优于无该设计的TAPNet，证实了相似度得分矩阵对训练的有益作用。
• 消融研究显示，局部投票与全局投票组件均对性能有显著贡献，其中缺少局部与全局投票的TAPNet性能明显低于完整模型。
• 连通性项的最优λ值为0.1，更高值会降低性能，表明拓扑编码应主导于连通性偏差。
• TAP层仅比基线模型多引入2.29%的参数，尽管性能显著提升，但计算开销极低。
• 可视化结果表明，与无连通性项的TAP相比，TAP能生成连通性更好的粗化图，有效减少孤立节点问题。