[论文解读] Rethinking Graph Transformers with Spectral Attention

Devin Kreuzer, Dominique Beaini+3 more|arXiv (Cornell University)|Jun 7, 2021

Advanced Graph Neural Networks参考文献 36被引用 70

一句话总结

提出谱注意网络（SAN），使用学习的拉普拉斯谱基的位置编码来实现全连接图Transformer，在标准图数据集上达到有竞争力或最先进的结果。

ABSTRACT

In recent years, the Transformer architecture has proven to be very successful in sequence processing, but its application to other data structures, such as graphs, has remained limited due to the difficulty of properly defining positions. Here, we present the $ extit{Spectral Attention Network}$ (SAN), which uses a learned positional encoding (LPE) that can take advantage of the full Laplacian spectrum to learn the position of each node in a given graph. This LPE is then added to the node features of the graph and passed to a fully-connected Transformer. By leveraging the full spectrum of the Laplacian, our model is theoretically powerful in distinguishing graphs, and can better detect similar sub-structures from their resonance. Further, by fully connecting the graph, the Transformer does not suffer from over-squashing, an information bottleneck of most GNNs, and enables better modeling of physical phenomenons such as heat transfer and electric interaction. When tested empirically on a set of 4 standard datasets, our model performs on par or better than state-of-the-art GNNs, and outperforms any attention-based model by a wide margin, becoming the first fully-connected architecture to perform well on graph benchmarks.

研究动机与目标

• 将图视为无硬结构偏置的数据，并解决消息传递GNN的局限。
• 开发可学习的谱位置编码，利用完整的拉普拉斯谱。
• 创建一个全连接图Transformer架构，缓解信息挤压（over-squashing）问题。
• 在标准图基准上展示相较于SOTA GNN与基于注意力的模型的经验性性能提升。

提出的方法

• 从拉普拉斯特征函数为图定义绝对位置编码和相对位置编码。
• 提出一个基于节点的学习型位置编码（LPE）变换器，将谱信息投射到固定维度的节点嵌入。
• 将LPE与节点特征拼接后输入到具有全图注意力的主图Transformer。
• 实现一个两分支注意力机制，处理稀疏图的边并添加全图连接，具可调伽马参数。
• 可选地给出一个边级LPE变体以实现符号不变性，但计算成本更高。
• 讨论理论性质：超越WL测试的表达能力，以及因全连接导致的更少的over-squashing。

实验结果

研究问题

• RQ1 如何利用拉普拉斯特征函数在Transformer设置中创建有效的图位置编码？
• RQ2 使用谱编码的全图注意力是否能提高表达能力和性能，相较于传统的消息传递GNN？
• RQ3 在节点级与边级LPE以及稀疏注意力与全注意力之间，计算成本与准确性之间的权衡是什么？
• RQ4 SAN 是否能够在分子和 SBM 数据集的标准基准上达到最先进的性能？

主要发现

• SAN 在多个标准图基准上达到或超过最先进水平。
• 具有谱编码的全图注意力在经验上优于等效的稀疏消息传递模型。
• 在分子数据集上，节点级LPE通过子结构检测带来显著贡献。
• 所提出的方法在所有测试数据集上持续优于仅基于注意力的基线。
• 边级LPE提供符号不变性优势，但计算成本更高。
• SAN 是首次被报道在图基准上表现良好的全连接架构，相较于基于注意力的模型。