[论文解读] Quaternion Graph Neural Networks

Dai Quoc Nguyen, Tu Dinh Nguyen+1 more|arXiv (Cornell University)|Aug 12, 2020

Advanced Graph Neural Networks参考文献 67被引用 5

一句话总结

本文提出四元数图神经网络（QGNN），这是首个利用哈密顿积在四元数空间中学习图表示的方法，以增强表达能力。QGNN在节点分类、图分类和知识图谱补全任务上均达到最先进性能，其中SimQGNN在三个新的CoDEx基准上优于现有模型。

ABSTRACT

Recently, graph neural networks (GNNs) have become an important and active research direction in deep learning. It is worth noting that most of the existing GNN-based methods learn graph representations within the Euclidean vector space. Beyond the Euclidean space, learning representation and embeddings in hyper-complex space have also shown to be a promising and effective approach. To this end, we propose Quaternion Graph Neural Networks (QGNN) to learn graph representations within the Quaternion space. As demonstrated, the Quaternion space, a hyper-complex vector space, provides highly meaningful computations and analogical calculus through Hamilton product compared to the Euclidean and complex vector spaces. Our QGNN obtains state-of-the-art results on a range of benchmark datasets for graph classification and node classification. Besides, regarding knowledge graphs, our QGNN-based embedding model achieves state-of-the-art results on three new and challenging benchmark datasets for knowledge graph completion. Our code is available at: \url{https://github.com/daiquocnguyen/QGNN}.

研究动机与目标

• 探索四元数空间在图表示学习中的应用，突破传统欧几里得向量空间的限制。
• 开发一种新颖的GNN架构，利用四元数的代数特性实现更具表达力的图嵌入。
• 在标准图学习基准上实现最先进性能，包括节点分类和图分类任务。
• 通过构建统一的实体图并应用基于QGNN的模型，提升知识图谱补全性能。
• 通过广泛评估，证明四元数表示相较于实值和复值GNN的优越性。

提出的方法

• QGNN采用四元数值节点表示，并使用哈密顿积进行消息传递，相比标准点积实现更丰富的交互。
• 该模型应用可学习的四元数变换聚合邻域特征，保留四元数固有的旋转和几何特性。
• 对于图级别任务，采用简单的求和池化操作将节点嵌入聚合为图级别表示。
• 通过从三元组构建单一无向实体图，将框架扩展至知识图谱，并应用QGNN结合得分函数。
• 简化变体SimQGNN在实体图上使用普通GNN与四元数嵌入，以极简的架构复杂度实现强大性能。
• 该方法支持使用标准优化方法（Adam）的端到端训练，并采用网格搜索进行超参数调优。

实验结果

研究问题

• RQ1 与欧几里得空间和复数向量空间相比，四元数空间是否能提升图表示学习性能？
• RQ2 哈密顿积是否能实现比标准点积聚合更富表达力的消息传递？
• RQ3 QGNN能否在标准节点分类和图分类基准上达到最先进性能？
• RQ4 基于QGNN的模型能否在CoDEx-S、CoDEx-M和CoDEx-L等具有挑战性的开放域基准上超越现有知识图嵌入方法？
• RQ5 所提出的SimQGNN模型在无需复杂架构修改的情况下，是否兼具有效性和高效性？

主要发现

• SimQGNN在CoDEx-S上取得65.2%的Hits@10最先进分数，在CoDEx-M上为47.7%，在CoDEx-L上为43.7%，优于所有基线模型，包括CompGCN和R-GCN。
• 在CoDEx-L上，SimQGNN实现最高MRR（0.310）和Hits@10（43.7%），表明其在最具挑战性的数据集上具有鲁棒性。
• QGNN在引文网络数据集上实现节点分类的最先进性能，在生物信息学和社会网络数据集上实现图分类的最先进性能。
• SimRGCN（基于GCN的基线，使用相同的实体图构建方式）表现弱于SimQGNN，表明四元数表示相较于实值GNN具有优势。
• 消融实验表明，SimQGNN在CoDEx-S、CoDEx-M和CoDEx-L上的Hits@10分别优于CompGCN 3.1%、2.0%和0.9%。
• 该模型在所有CoDEx数据集上均取得具有竞争力的MRR分数，且在CoDEx-L上MRR和Hits@10均排名第一。