[论文解读] Self-Attention Graph Pooling

Junhyun Lee, Inyeop Lee+1 more|arXiv (Cornell University)|Apr 17, 2019

Advanced Graph Neural Networks参考文献 44被引用 375

一句话总结

SAGPool 引入基于自注意力的图池化层，用于 GNN，考虑节点特征与图拓扑，实现端到端的分层图表示，性能具有竞争力。它比较跨多数据集的全局和层次池化架构，尤其在更大图上显示出强劲结果。

ABSTRACT

Advanced methods of applying deep learning to structured data such as graphs have been proposed in recent years. In particular, studies have focused on generalizing convolutional neural networks to graph data, which includes redefining the convolution and the downsampling (pooling) operations for graphs. The method of generalizing the convolution operation to graphs has been proven to improve performance and is widely used. However, the method of applying downsampling to graphs is still difficult to perform and has room for improvement. In this paper, we propose a graph pooling method based on self-attention. Self-attention using graph convolution allows our pooling method to consider both node features and graph topology. To ensure a fair comparison, the same training procedures and model architectures were used for the existing pooling methods and our method. The experimental results demonstrate that our method achieves superior graph classification performance on the benchmark datasets using a reasonable number of parameters.

研究动机与目标

• 激励改进的图池化，利用节点特征与拓扑结构。
• 开发一个可微分、可扩展的基于自注意力的图上池化层。
• 在全局和层次池化架构中评估 SAGPool，相对于强基线。
• 表明 SAGPool 在参数量相对独立于输入图规模的情况下实现高准确度。

提出的方法

• 将 SAGPool 定义为基于自注意力的池化层，使用图卷积来计算注意力分数。
• 计算 Z = sigma(Ã D^{-1/2} Ã D^{-1/2} X Theta_att)，其中 Ã 是带自环的 A，D 为度矩阵。
• 通过 Z 选择前 kN 个节点来形成 X_out 和 A_out，保留固定比例的节点 k。
• 允许使用不同的 GNN（ChebConv、SAGE、GAT）以及两跳连通性（增强、串联、并联）来计算注意力。
• 提供全局和层次池化架构，以与 Set2Set、SortPool、DiffPool、gPool 等基线进行公平比较。
• 维持一个与输入图规模无关的稳定参数量。

实验结果

研究问题

• RQ1 将包含图拓扑的自注意力池化是否能提升图分类性能？
• RQ2 在全局与层次架构下，SAGPool 与现有池化方法相比如何？
• RQ3 使用拓扑感知注意力和两跳信息对池化质量与效率的影响？
• RQ4 SAGPool 的变体（不同 GNN、增强/串联/并联、多GNN 平均）在不同数据集上的表现如何？

主要发现

• SAGPool g 在 D&D 上达到 76.19% ±0.94，PROTEINS 70.04% ±1.47，NCI1 74.18% ±1.20，NCI109 74.06% ±0.78，FRANKENSTEIN 62.57% ±0.60。使用全局池化架构。
• SAGPool h 在 D&D 上达到 76.45% ±0.97，PROTEINS 71.86% ±0.97，NCI1 67.45% ±1.11，NCI109 67.86% ±1.41，FRANKENSTEIN 61.73% ±0.76。使用层次池化架构。
• SAGPool 通常优于 Set2Set、SortPool、DiffPool 和 gPool，在所有数据集上表现更好，特别是在 D&D 和 PROTEINS 上有显著提升。
• 通过在注意力分数中引入归一化邻接矩阵的图拓扑（如 SAGPool）相较于像 gPool 这样的拓扑无关池化，性能有所提升。
• 包含两跳连通性和多GNN 平均的变体在不同数据集上有不同程度的提升，表明 SAGPool 的灵活性可用于进一步提升。
• 稀疏性和端到端学习带来有利的内存和参数特性，SAGPool 的参数数量在图规模增大时保持稳定。