[论文解读] Spectral Graph Attention Network with Fast Eigen-approximation

Heng Chang, Yu Rong+5 more|arXiv (Cornell University)|Mar 16, 2020

Advanced Graph Neural Networks参考文献 50被引用 4

一句话总结

本文提出谱图注意力网络（SpGAT），一种新颖的图神经网络，将注意力机制应用于谱图小波，实现对低频与高频分量的高效建模，从而提升全局与局部表征学习效果。此外，本文还提出SpGAT-Cheby，一种基于切比雪夫多项式快速近似的变体，可在大规模图上将计算成本降低高达7.9倍，同时在引文基准数据集上达到最先进性能。

ABSTRACT

Variants of Graph Neural Networks (GNNs) for representation learning have been proposed recently and achieved fruitful results in various fields. Among them, Graph Attention Network (GAT) first employs a self-attention strategy to learn attention weights for each edge in the spatial domain. However, learning the attentions over edges can only focus on the local information of graphs and greatly increases the computational costs. In this paper, we first introduce the attention mechanism in the spectral domain of graphs and present Spectral Graph Attention Network (SpGAT) that learns representations for different frequency components regarding weighted filters and graph wavelets bases. In this way, SpGAT can better capture global patterns of graphs in an efficient manner with much fewer learned parameters than that of GAT. Further, to reduce the computational cost of SpGAT brought by the eigen-decomposition, we propose a fast approximation variant SpGAT-Cheby. We thoroughly evaluate the performance of SpGAT and SpGAT-Cheby in semi-supervised node classification tasks and verify the effectiveness of the learned attentions in the spectral domain.

研究动机与目标

• 为解决图神经网络中空间域注意力机制的局限性，该机制仅关注局部邻域信息且计算成本较高。
• 通过将注意力机制扩展至使用图小波与频域分量的谱域，实现图的全局结构建模。
• 通过快速切比雪夫多项式近似，降低谱图神经网络中谱分解的计算负担。
• 证明在谱分量上学习注意力机制可实现比空间注意力机制更优的性能与更高的参数效率。

提出的方法

• SpGAT利用拉普拉斯矩阵特征分解导出的图小波，将图信号分解为低频与高频分量。
• 对低频与高频分量分别应用可学习的注意力权重，实现对局部与全局图结构的独立建模。
• 模型使用池化函数与激活函数，聚合并转换注意力后的谱特征，生成最终的节点表征。
• SpGAT-Cheby用切比雪夫多项式近似替代精确特征分解，以加速谱小波计算。
• 该近似利用了切比雪夫多项式可高效逼近特征值区间内谱函数的特性。
• 该方法在半监督节点分类设置下端到端训练，采用交叉熵损失函数。

实验结果

研究问题

• RQ1 与空间域注意力相比，谱域中应用注意力机制是否能提升图的全局表征学习效果？
• RQ2 在谱域中分离低频与高频分量是否能带来更好的性能与更高的参数效率？
• RQ3 切比雪夫多项式近似是否能显著降低谱小波计算的计算成本，同时不损失性能？
• RQ4 有效图表征学习的最优低频分量比例是多少？

主要发现

• SpGAT在全部五个引文数据集上均达到最先进性能，优于14种竞争基线模型，包括GAT与GCN。
• 在PubMed数据集上，SpGAT-Cheby在谱小波计算上实现了7.9倍的速度提升，准确率达到92.1%。
• 最优低频分量比例在各数据集中仅为5%–15%，表明少量分量即可实现有效的信号重构。
• SpGAT-Cheby相比GAT将训练时间减少近一半，且在效率上与VanillaGCN相当，展现出强大的可扩展性。
• 消融实验表明，对谱分量进行注意力学习能显著提升性能，最佳结果出现在对低频分量采用小而固定的占比时。
• 该模型在不同数据集上表现稳健，SpGAT-Cheby在PubMed上达到最高准确率92.8%，在Cora上达到83.7%。