[论文解读] Which way? Direction-Aware Attributed Graph Embedding

Zekarias T. Kefato, Nasrullah Sheikh+1 more|arXiv (Cornell University)|Jan 30, 2020

Advanced Graph Neural Networks参考文献 18被引用 5

一句话总结

本文提出 Diagram，一种新型的方向感知、文本增强图嵌入方法，通过多目标损失函数联合优化边的方向性、节点内容（通过 TF-IDF 或二值特征）以及无向邻域结构。该方法在非对称链接预测和网络重构任务中达到最先进性能，且在 Cora 和 Citeseer 数据集上的节点分类任务中表现匹配或超越现有 SOTA 基线。

ABSTRACT

Graph embedding algorithms are used to efficiently represent (encode) a graph in a low-dimensional continuous vector space that preserves the most important properties of the graph. One aspect that is often overlooked is whether the graph is directed or not. Most studies ignore the directionality, so as to learn high-quality representations optimized for node classification. On the other hand, studies that capture directionality are usually effective on link prediction but do not perform well on other tasks. This preliminary study presents a novel text-enriched, direction-aware algorithm called DIAGRAM , based on a carefully designed multi-objective model to learn embeddings that preserve the direction of edges, textual features and graph context of nodes. As a result, our algorithm does not have to trade one property for another and jointly learns high-quality representations for multiple network analysis tasks. We empirically show that DIAGRAM significantly outperforms six state-of-the-art baselines, both direction-aware and oblivious ones,on link prediction and network reconstruction experiments using two popular datasets. It also achieves a comparable performance on node classification experiments against these baselines using the same datasets.

研究动机与目标

• 解决在图嵌入中保持方向性与节点相似性之间的权衡问题。
• 开发一种能够同时捕捉有向边流动、文本节点特征以及无向邻域上下文的模型。
• 在多个图分析任务上提升性能，尤其是非对称链接预测，同时不牺牲节点分类的准确性。
• 克服现有方法的局限性，这些方法或为方向无关，或无法有效建模非线性图结构。
• 设计一种多目标学习框架，平衡节点表示中的三个关键方面：方向、内容与上下文。

提出的方法

• Diagram 为每个节点学习三种不同的嵌入表示：$\mathbf{z_u}$ 表示无向邻域与内容相似性，$\mathbf{o_u}$ 表示出度邻居，$\mathbf{i_u}$ 表示入度邻居。
• 该模型使用多目标损失函数，联合优化：(1) 通过 $\texttt{dot}(\mathbf{o_u}, \mathbf{i_v})$ 实现方向感知的接近度，(2) 使用 TF-IDF 或二值特征实现内容相似性，(3) 通过 $\mathbf{M_u} \mid \mathbf{M^T_u}$ 实现无向邻域结构。
• Diagram node 使用每个节点的单一共享嵌入，而 Diagram edge 为每个边方向引入独立的嵌入，以更好地建模非对称关系。
• 模型通过在残差图上使用随机梯度下降进行端到端训练，以增强泛化能力并捕捉长距离依赖。
• 节点表示用作下游任务的输入特征，节点分类任务采用 10 折交叉验证设置下的逻辑回归。
• 通过 TF-IDF 或二值编码从与节点关联的文档中构建特征矩阵 $\mathbf{D}$，以保留文本语义。

实验结果

研究问题

• RQ1 图嵌入模型能否在不产生性能权衡的情况下，联合保持方向性、文本节点内容与无向邻域结构？
• RQ2 引入方向感知嵌入后，对有向图中的链接预测与网络重构有何影响？
• RQ3 与最先进基线相比，多目标学习方法在多大程度上能提升节点分类的准确性？
• RQ4 Diagram 是否在多个评估任务中均优于方向无关与方向感知的基线？
• RQ5 Diagram node 与 Diagram edge 两种变体在性能稳定性与方差方面表现如何？

主要发现

• Diagram 在 Cora 和 Citeseer 数据集上的非对称链接预测与网络重构任务中，显著优于六种 SOTA 基线。
• Diagram edge 在除 W-L1 特征构建方法外，性能优于 Diagram node，且方差更低。
• 在节点分类任务中，Diagram 在 Cora 数据集上使用 50% 训练数据时，Micro-F1 达 82%，Macro-F1 达 80%，优于大多数基线，包括 Node2Vec 和 DeepWalk。
• 在 Citeseer 数据集上，Diagram 表现与最佳基线（如 ANRL、DANE）相当，且优于 VGAE 和 HOPE 的 F1 分数。
• Diagram 在所有数据集和任务中均持续优于 HOPE（一种方向感知基线），证明其深层多目标架构相比矩阵分解具有显著优势。
• Diagram 在链接预测中表现优越，归因于其通过 $\texttt{dot}(\mathbf{o_u}, \mathbf{i_v})$ 接近度度量有效建模了非对称传递性。