[论文解读] Node2Seq: Towards Trainable Convolutions in Graph Neural Networks

Hao Yuan, Shuiwang Ji|arXiv (Cornell University)|Jan 6, 2021

Advanced Graph Neural Networks参考文献 40被引用 5

一句话总结

本文提出 Node2Seq，一种新型图神经网络层，通过基于注意力的排序和一维卷积神经网络，实现邻近节点的可学习、自适应卷积权重。通过引入可学习的注意力分数和自适应的非局部信息，Node2Seq 在节点分类基准上达到最先进性能，相较于 GCN、GAT 及其他基线模型，在所有数据集上均实现一致的性能提升。

ABSTRACT

Investigating graph feature learning becomes essentially important with the emergence of graph data in many real-world applications. Several graph neural network approaches are proposed for node feature learning and they generally follow a neighboring information aggregation scheme to learn node features. While great performance has been achieved, the weights learning for different neighboring nodes is still less explored. In this work, we propose a novel graph network layer, known as Node2Seq, to learn node embeddings with explicitly trainable weights for different neighboring nodes. For a target node, our method sorts its neighboring nodes via attention mechanism and then employs 1D convolutional neural networks (CNNs) to enable explicit weights for information aggregation. In addition, we propose to incorporate non-local information for feature learning in an adaptive manner based on the attention scores. Experimental results demonstrate the effectiveness of our proposed Node2Seq layer and show that the proposed adaptively non-local information learning can improve the performance of feature learning.

研究动机与目标

• 为解决现有图神经网络（如 GCN 和 GAT）中邻近节点加权方式固定或不明确的局限性。
• 在特征聚合过程中，实现邻近节点的可学习、动态卷积权重。
• 缓解图表示学习中因忽略远距离或非局部节点而导致的信息损失。
• 开发一种基于注意力分数自适应整合非局部节点信息的机制。
• 通过在 GNN 中引入一种新颖的可学习卷积层，提升节点特征学习性能。

提出的方法

• 使用注意力机制对邻近节点进行排序，为每个目标节点生成可学习的序列。
• 在排序后的邻近节点特征上应用一维卷积神经网络（CNN），为每个邻近节点学习显式、可学习的权重。
• 集成全局读出函数，将所有邻近节点特征聚合为统一表示，无论节点度数高低，均保留全部邻居的信息。
• 通过学习基于注意力分数的动态加权因子，自适应地整合非局部节点信息。
• 将 Node2Seq 层与残差连接结合，并堆叠多层，构建深层 GNN 架构。
• 使用可学习权重矩阵和非线性激活函数，通过消息传递机制更新节点表示。

实验结果

研究问题

• RQ1 邻近节点的可学习卷积权重是否能提升 GNN 中的节点表示学习？
• RQ2 基于注意力的邻近节点排序如何影响图神经网络的性能？
• RQ3 整合非局部信息在多大程度上能提升节点分类准确率？
• RQ4 一维 CNN 组件中不同卷积核大小对模型性能有何影响？
• RQ5 所提出的自适应非局部机制是否在多种图数据集上均能持续提升性能？

主要发现

• Node2Seq 在全部六个基准数据集上均优于 GCN、GAT 及其他基线模型，在 Cora-F 数据集上达到 84.0% ± 0.6 的准确率，优于 GCN 的 81.6%。
• 采用自适应非局部信息的模型（Node2Seq_g）显著优于仅使用局部信息的变体（Node2Seq_l），证明了非局部上下文的重要性。
• 在 Squirrel 数据集上，Node2Seq 达到 58.8% ± 1.4 的准确率，超过具有相同架构的 GCN 基线模型的 56.5%。
• 最优卷积核大小因数据集而异：Squirrel 数据集上 k=3 表现最佳，而 Cora 数据集上性能随核大小增至 k=10 而提升。
• 消融实验表明，性能提升主要源于 Node2Seq 层本身，而非网络架构设计；将该层替换为 GCN 层后，三个数据集的性能均出现下降。
• 所提方法在所有卷积核大小下均保持良好性能，表明其具备鲁棒性与泛化能力。