[论文解读] Universal Graph Transformer Self-Attention Networks

Dai Quoc Nguyen, Tu Dinh Nguyen+1 more|arXiv (Cornell University)|Sep 26, 2019

Advanced Graph Neural Networks参考文献 9被引用 5

一句话总结

本文提出 UGformer，一种新颖的图神经网络，通过基于 Transformer 的自注意力机制学习图表示。第一种变体对每个节点使用采样邻居以实现可扩展的归纳图分类，在社交网络和生物信息学数据集上达到最先进性能；第二种变体将 Transformer 应用于所有节点，在归纳文本分类任务中取得新的 SOTA 结果。

ABSTRACT

We introduce a transformer-based GNN model, named UGformer, to learn graph representations. In particular, we present two UGformer variants, wherein the first variant (publicized in September 2019) is to leverage the transformer on a set of sampled neighbors for each input node, while the second (publicized in May 2021) is to leverage the transformer on all input nodes. Experimental results demonstrate that the first UGformer variant achieves state-of-the-art accuracies on benchmark datasets for graph classification in both inductive setting and unsupervised transductive setting; and the second UGformer variant obtains state-of-the-art accuracies for inductive text classification. The code is available at: \url{https://github.com/daiquocnguyen/Graph-Transformer}.

研究动机与目标

• 开发一种基于 Transformer 的图神经网络（GNN），通过利用自注意力机制提升图表示学习能力。
• 解决传统 GNN 在捕捉图数据中长距离依赖关系和复杂结构模式方面的局限性。
• 探索在标注数据稀缺的情况下，通过对比节点嵌入优化实现无监督归纳图分类。
• 通过两种不同的 UGformer 变体，在归纳图分类和归纳文本分类任务中均实现最先进性能。
• 提供一种可扩展且高效的图表示学习框架，适用于大规模图和多样化的下游任务。

提出的方法

• 提出 UGformer 变体 1：对每个节点的均匀采样邻居集合应用多头自注意力机制，实现对大规模图的可扩展性。
• 在所有位置和时间步中共享 Transformer 编码器的权重矩阵，以保持参数效率和不变性。
• 通过堆叠多层 Transformer，基于采样邻域聚合的信息迭代更新节点表示。
• 在无监督归纳设置中使用对比损失函数，以最大化节点嵌入与其对应最终表示之间的相似性。
• 对节点嵌入进行图级别池化（求和聚合），生成用于分类的图级别表示。
• 应用第二种 UGformer 变体——对图中所有节点应用自注意力机制，实现归纳文本分类任务中的全注意力建模。

实验结果

研究问题

• RQ1 基于 Transformer 的 GNN 架构是否能通过在节点邻域上应用自注意力机制，在归纳图分类任务中超越现有 GNN 模型？
• RQ2 对采样邻居集合应用自注意力机制，在捕捉图表示学习中的结构信息方面是否有效？
• RQ3 在标签数据有限的情况下，采用对比节点嵌入优化的无监督归纳学习方法是否能在图分类基准上实现最先进结果？
• RQ4 与先前方法相比，对所有节点应用全图自注意力是否能提升归纳文本分类任务的性能？
• RQ5 在多样化的图和文本分类数据集上，UGformer 与现有 SOTA 模型相比，在准确率和鲁棒性方面表现如何？

主要发现

• 在无监督归纳设置下，UGformer 变体 1 在 COLLAB 数据集上达到 95.62% 的最先进准确率，在 IMDB-B 上达到 96.41%，优于 DGK 和 AWE。
• 在生物信息学数据集 DD 上，UGformer 在无监督归纳设置下达到 95.67% 的准确率，显著超过此前最先进结果 73.50%（DGK）。
• 在归纳图分类设置下，UGformer 变体 1 在 COLLAB 上达到 95.62%，在 IMDB-B 上达到 96.41%，在 IMDB-M 上达到 89.20%，优于先前模型。
• 在归纳文本分类任务中，UGformer 变体 2 实现最先进性能，报告准确率分别为 IMDB-M 上 89.20% 和 DD 上 95.67%。
• 无监督 UGformer 变体显著优于 uGCN（COLLAB 上为 93.28%）及其他无监督基线模型，证明了对比学习目标的有效性。
• 在 MUTAG 数据集上，UGformer 在无监督设置下达到 88.47% 的准确率，略低于 uGCN 的 95.36%，但考虑到该数据集规模较小（仅 188 个图），仍具竞争力。