[论文解读] Specformer: Spectral Graph Neural Networks Meet Transformers

Deyu Bo, Chuan Shi+2 more|arXiv (Cornell University)|Mar 2, 2023

Advanced Graph Neural Networks被引用 16

一句话总结

Specformer 引入了一种基于 Transformer 的集合到集合的光谱滤波器，用于图拉普拉斯特征值，使得可以学习到可学习的、非局部的光谱卷积，并且具有置换等变性，在节点级和图级任务上超越最先进的 GNNs。

ABSTRACT

Spectral graph neural networks (GNNs) learn graph representations via spectral-domain graph convolutions. However, most existing spectral graph filters are scalar-to-scalar functions, i.e., mapping a single eigenvalue to a single filtered value, thus ignoring the global pattern of the spectrum. Furthermore, these filters are often constructed based on some fixed-order polynomials, which have limited expressiveness and flexibility. To tackle these issues, we introduce Specformer, which effectively encodes the set of all eigenvalues and performs self-attention in the spectral domain, leading to a learnable set-to-set spectral filter. We also design a decoder with learnable bases to enable non-local graph convolution. Importantly, Specformer is equivariant to permutation. By stacking multiple Specformer layers, one can build a powerful spectral GNN. On synthetic datasets, we show that our Specformer can better recover ground-truth spectral filters than other spectral GNNs. Extensive experiments of both node-level and graph-level tasks on real-world graph datasets show that our Specformer outperforms state-of-the-art GNNs and learns meaningful spectrum patterns. Code and data are available at https://github.com/bdy9527/Specformer.

研究动机与目标

• 阐明谱 GNNs 中标量到标量光谱滤波器和固定阶多项式基的局限性。
• 开发基于 Transformer 的集合到集合的光谱滤波器，以捕捉所有拉普拉斯特征值的幅值及相对差异。
• 设计一个可学习的基解码器，以实现非局部图卷积。
• 确保置换等变性和可扩展性，适用于实际的图学习任务。
• 在合成和真实世界的图基准上，展示在节点级和图级任务上的卓越性能。

提出的方法

• 通过对每个特征值映射正弦嵌入函数来对谱进行编码，以获得高维表示。
• 在光谱域应用标准的 Transformer 块来学习特征值之间的相关性。
• 通过基于注意力的头部解码多个光谱基，生成新的特征值，然后用前馈网络构建可学习的基。
• 将每通道的光谱滤波器重构为可学习基的组合，并应用带残差连接的图卷积。
• 通过学习到的光谱滤波器保持置换等变性，并允许非局部的图卷积。

实验结果

研究问题

• RQ1 基于 Transformer 的集合到集合光谱滤波器是否能够同时捕捉所有拉普拉斯特征值的幅值和相对频率信息？
• RQ2 可学习的光谱基是否比固定多项式基提供更具表达力和灵活性的光谱滤波？
• RQ3 Specformer 是否具有置换等变性，且在节点级和图级任务上都能实现非局部图卷积并表现良好？
• RQ4 在合成和真实世界数据集上，Specformer 与传统的空间 GNN、基于多项式的光谱 GNN 和 Graph Transformer 的比较如何？

主要发现

• Specformer 在合成数据上比固定多项式光谱 GNNs 学得更具表达力的光谱滤波，能准确还原真实滤波。
• 在节点级和图级基准上，Specformer 的表现优于包括空间、光谱和图 Transformer 基线在内的最先进 GNN。
• 该模型展示了置换等变性，并通过学习的光谱基实现了非局部图卷积。
• 消融研究表明特征值编码和注意力模块始终能提升性能，且模型大小随任务难度而增长。
• Specformer 在同质性和异质性数据集上均取得强劲结果，在异质图上的提升尤为显著。