[论文解读] Spectral Graph Attention Network

Heng Chang, Yu Rong+5 more|arXiv (Cornell University)|Jan 1, 2020

Advanced Graph Neural Networks参考文献 23被引用 14

一句话总结

本文提出谱图注意力网络（SpGAT），一种新型图神经网络，通过图小波和加权滤波器在图的频域分量上学习注意力权重，实现比GAT显著更少参数的高效全局模式捕捉。SpGAT通过利用频域注意力，在半监督节点分类任务中实现了最先进性能。

ABSTRACT

Variants of Graph Neural Networks (GNNs) for representation learning have been proposed recently and achieved fruitful results in various fields. Among them, graph attention networks (GATs) first employ a self-attention strategy to learn attention weights for each edge in the spatial domain. However, learning the attentions over edges only pays attention to the local information of graphs and greatly increases the number of parameters. In this paper, we first introduce attentions in the spectral domain of graphs. Accordingly, we present Spectral Graph Attention Network (SpGAT) that learn representations for different frequency components regarding weighted filters and graph wavelets bases. In this way, SpGAT can better capture global patterns of graphs in an efficient manner with much fewer learned parameters than that of GAT. We thoroughly evaluate the performance of SpGAT in the semi-supervised node classification task and verified the effectiveness of the learned attentions in the spectral domain.

研究动机与目标

• 为解决图注意力网络（GAT）因依赖边级局部注意力而难以捕捉全局图模式的局限性。
• 通过将注意力机制从空间域转移到频域，减少图神经网络中的可学习参数数量。
• 探索利用小波基和加权滤波器在图频域分量上应用注意力机制的有效性。
• 提升半监督节点分类任务中的表征学习效率与性能。

提出的方法

• 提出一种频域注意力机制，利用图小波在图的不同频域分量上计算注意力权重。
• 采用加权滤波器，学习在表征学习过程中为每个频域分量分配的重要性。
• 利用图小波基将图信号分解为不同的频带，实现对频域的感知注意力。
• 将频域注意力与消息传递相结合，实现在频域中对图的特征进行聚合。
• 在每个频域分量上学习注意力参数，而非在每条边上，从而大幅减少模型参数。
• 在频域基上应用可微注意力机制，动态强调信息丰富的频域分量。

实验结果

研究问题

• RQ1 在频域应用注意力机制是否能提升图表征学习中的全局模式捕捉能力？
• RQ2 频域注意力与空间注意力在参数效率和性能方面相比如何？
• RQ3 在频域分量上学习注意力是否能提升半监督节点分类中的泛化能力？
• RQ4 频域注意力是否能以更少的参数有效捕捉长距离依赖关系，优于空间GAT？

主要发现

• SpGAT在引文网络基准数据集上实现了半监督节点分类的最先进性能。
• 与标准GAT相比，该模型通过在频域中运行，显著减少了可学习参数数量。
• 频域注意力比GAT中的边级注意力更有效地捕捉全局图结构。
• 频域中学习到的注意力权重能有效强调对下游任务有信息量的频域分量。
• SpGAT在标签数据有限的场景下，表现出更优的泛化能力和效率。