[论文解读] SDGNN: Learning Node Representation for Signed Directed Networks

Junjie Huang, Huawei Shen+2 more|arXiv (Cornell University)|Jan 7, 2021

Advanced Graph Neural Networks参考文献 36被引用 7

一句话总结

该论文提出SDGNN，一种新颖的图神经网络模型，通过将社会学理论——平衡理论与地位理论——整合到消息传递框架中，学习有向符号网络中的节点表征。该模型联合重建链接符号、方向及有符号有向三角形，在五个真实世界数据集的链接符号预测任务中优于当前最先进方法。

ABSTRACT

Network embedding is aimed at mapping nodes in a network into low-dimensional vector representations. Graph Neural Networks (GNNs) have received widespread attention and lead to state-of-the-art performance in learning node representations. However, most GNNs only work in unsigned networks, where only positive links exist. It is not trivial to transfer these models to signed directed networks, which are widely observed in the real world yet less studied. In this paper, we first review two fundamental sociological theories (i.e., status theory and balance theory) and conduct empirical studies on real-world datasets to analyze the social mechanism in signed directed networks. Guided by related sociological theories, we propose a novel Signed Directed Graph Neural Networks model named SDGNN to learn node embeddings for signed directed networks. The proposed model simultaneously reconstructs link signs, link directions, and signed directed triangles. We validate our model's effectiveness on five real-world datasets, which are commonly used as the benchmark for signed network embedding. Experiments demonstrate the proposed model outperforms existing models, including feature-based methods, network embedding methods, and several GNN methods.

研究动机与目标

• 解决现有图神经网络主要处理无符号网络、难以有效建模有向符号网络的问题。
• 探究社会学理论（平衡理论与地位理论）在塑造有向符号网络结构中的作用。
• 设计一种图神经网络模型，联合重建链接符号、方向与有符号有向三角形，以提升节点表征学习效果。
• 在真实世界有向符号网络基准数据集上验证所提模型的有效性。

提出的方法

• 该模型提出一种逐层的有向符号关系图神经网络，基于从平衡理论与地位理论推导出的四种不同有向符号关系进行消息聚合。
• 采用多头注意力聚合器，动态加权邻居贡献，增强表征学习能力。
• 损失函数结合三项目标：符号重建、方向重建与有符号有向三角形重建，通过可学习超参数平衡各项贡献。
• 采用图自编码器框架，从学习到的节点嵌入中重建原始网络结构。
• 采用多层架构，捕捉网络中的高阶结构依赖关系。
• 训练过程使用随机梯度下降优化组合损失，并通过超参数调优确定嵌入维度与训练轮数。

实验结果

研究问题

• RQ1 平衡理论与地位理论如何解释真实世界有向符号网络中的结构模式？
• RQ2 一种显式整合社会学理论的图神经网络模型是否能在有向符号网络的节点表征学习中超越现有方法？
• RQ3 链接符号、方向与有符号有向三角形对节点表征学习性能的相对贡献如何？
• RQ4 架构选择（如聚合器类型与图神经网络层数）如何影响模型性能？

主要发现

• 在五个真实世界有符号网络数据集的链接符号预测任务中，SDGNN优于所有基线方法，包括基于特征的方法、网络嵌入方法与图神经网络方法。
• 即使在较小的嵌入维度（如 d=5）下，模型仍表现出强大性能，证明其鲁棒性与高效性。
• 消融实验表明，联合重建符号、方向与三角形的效果优于仅重建符号，凸显了对方向与三角形结构建模的重要性。
• 基于注意力的聚合器始终优于平均聚合器，表明自适应邻居加权可提升表征质量。
• 模型收敛迅速且性能稳定，最佳性能在约100个训练轮次时达到。
• 增加图神经网络层数可提升性能，因能捕捉更高阶的结构信息，验证了逐层设计的有效性。