[论文解读] Universal Self-Attention Network for Graph Classification

Dai Quoc Nguyen, Tu Dinh Nguyen+1 more|arXiv (Cornell University)|Sep 26, 2019

Advanced Graph Neural Networks被引用 13

一句话总结

U2GNN 提出了一种通用的自注意力图神经网络，通过基于 Transformer 的自注意力机制与循环消息传递相结合，学习增强的节点嵌入，并将其聚合为图级别的表征。该方法在监督和无监督图分类任务中均取得了当前最优性能，是首个通过无监督预训练提升分类准确率的基于图神经网络的模型。

ABSTRACT

Existing graph neural network-based models have biasedly used a supervised setting for graph classification, and they often share the conventional limitations in exploiting potential dependencies among nodes. To this end, we present U2GNN -- a novel embedding model leveraging the strength of the transformer self-attention network -- to learn low-dimensional embeddings of graphs. In particular, given an input graph, U2GNN applies a self-attention mechanism followed by a recurrent transition to update vector representation of each node from its neighbors. Thus, U2GNN can address the limitations in the existing models to produce plausible node embeddings whose sum is the final embedding of the whole graph. Experimental results in both supervised and unsupervised settings show that our U2GNN achieves new state-of-the-art performances on a range of well-known benchmark datasets for the graph classification task. To the best of our knowledge, this is the first work to train a GNN-based model in the unsupervised setting to improve classification performance.

研究动机与目标

• 解决现有图神经网络严重依赖监督学习且难以捕捉节点间深层依赖关系的局限性。
• 开发一种统一框架，通过自注意力机制有效捕捉图中的长程依赖关系。
• 实现在无监督设置下的有效图分类，该领域在图神经网络中尚属未充分探索的区域。
• 通过聚合增强的节点表征，生成高质量、低维的图嵌入。
• 证明无监督预训练可显著提升下游图分类性能。

提出的方法

• U2GNN 应用自注意力机制，基于邻近节点的上下文信息更新节点表征。
• 采用循环转移机制，通过多轮消息传递迭代优化节点嵌入。
• 节点表征通过关注图中所有其他节点进行更新，从而捕捉超出直接邻居的长程依赖关系。
• 通过求和更新后的节点嵌入获得最终图嵌入，形成全局图级别的表征。
• 模型在监督和无监督设置下端到端训练，无监督预训练显著提升了下游性能。
• 该架构设计具有通用性，无需修改即可应用于多种图分类任务。

实验结果

研究问题

• RQ1 自注意力机制能否有效捕捉图结构数据中节点之间的复杂依赖关系？
• RQ2 基于图神经网络的模型进行无监督预训练是否能提升图分类任务的性能？
• RQ3 所提出的消息传递机制在表征质量方面与传统图神经网络聚合策略相比如何？
• RQ4 自注意力与循环机制的结合在多大程度上提升了节点和图嵌入的质量？
• RQ5 统一架构是否能在监督和无监督图分类基准中均实现当前最优结果？

主要发现

• U2GNN 在多个基准图分类数据集上，无论在监督还是无监督设置下，均取得了新的 SOTA 性能。
• 无监督预训练阶段显著提升了下游分类准确率，证明了自监督学习在图神经网络中的有效性。
• 自注意力机制相比标准消息传递图神经网络，能更优地建模长程依赖关系。
• 循环转移机制通过迭代优化提升了节点表征学习能力。
• 通过求和更新后的节点表征得到的最终图嵌入，生成了高度判别性且紧凑的图级别特征。
• 本工作首次证明，基于图神经网络的模型进行无监督训练可显著提升图分类性能。