[论文解读] SHGNN: Structure-Aware Heterogeneous Graph Neural Network

Wentao Xu, Yingce Xia+4 more|arXiv (Cornell University)|Dec 12, 2021

Advanced Graph Neural Networks被引用 5

一句话总结

本文提出SHGNN，一种结构感知的异构图神经网络，通过特征传播模块和树注意力聚合器，将节点中心性与图结构信息整合到基于元路径的图嵌入中，从而提升表示学习效果。该方法在IMDB、DBLP和ACM等基准数据集的节点分类与聚类任务上均取得了最先进性能。

ABSTRACT

Many real-world graphs (networks) are heterogeneous with different types of nodes and edges. Heterogeneous graph embedding, aiming at learning the low-dimensional node representations of a heterogeneous graph, is vital for various downstream applications. Many meta-path based embedding methods have been proposed to learn the semantic information of heterogeneous graphs in recent years. However, most of the existing techniques overlook the graph structure information when learning the heterogeneous graph embeddings. This paper proposes a novel Structure-Aware Heterogeneous Graph Neural Network (SHGNN) to address the above limitations. In detail, we first utilize a feature propagation module to capture the local structure information of intermediate nodes in the meta-path. Next, we use a tree-attention aggregator to incorporate the graph structure information into the aggregation module on the meta-path. Finally, we leverage a meta-path aggregator to fuse the information aggregated from different meta-paths. We conducted experiments on node classification and clustering tasks and achieved state-of-the-art results on the benchmark datasets, which shows the effectiveness of our proposed method.

研究动机与目标

• 解决现有基于元路径的方法在异构图嵌入中忽略图结构信息的局限性。
• 引入节点中心性作为结构重要性的度量，以提升表征学习效果。
• 通过在信息聚合过程中利用共享的中间节点，建模元路径实例之间的结构依赖关系。
• 设计一种新型聚合机制，捕捉孤立元路径实例之外的结构上下文信息。
• 通过结构感知的表征，在下游任务（如节点分类与聚类）中实现性能提升。

提出的方法

• 引入特征传播模块，以捕捉元路径中中间节点周围的局部结构信息。
• 设计树注意力聚合器，用于建模共享共同中间节点的元路径实例之间的依赖关系。
• 使用节点中心性指标 $c(v)$ 和 $c^+(v)$，基于节点在图中的位置编码其结构重要性。
• 应用元路径聚合器，通过学习到的注意力权重融合来自多个元路径的表征。
• 在端到端的GNN框架中结合结构编码与树注意力机制，实现异构图表征学习。
• 在基准数据集上，使用监督节点分类与聚类目标进行模型训练。

实验结果

研究问题

• RQ1 引入节点中心性是否能提升异构图嵌入的质量？
• RQ2 对重叠元路径实例之间的结构依赖关系进行建模，是否能增强表征学习？
• RQ3 与标准注意力机制相比，树注意力聚合器在聚合基于元路径的特征时表现如何？
• RQ4 SHGNN在节点分类与聚类任务上相对于现有最先进方法的性能提升程度如何？
• RQ5 通过消融研究，结构信息对最终嵌入质量的贡献程度如何？

主要发现

• 与先前最先进方法相比，SHGNN在IMDB数据集上将NMI提升了5%相对提升，ARI提升了20%。
• 在ACM数据集上，SHGNN相比MAGNN-AC模型，NMI提升近8%，ARI提升7%。
• 消融研究证实，节点中心性编码与树注意力聚合器均显著提升性能，尤其在DBLP数据集上表现突出。
• 与移除中心性指标相比，引入 $c(v)$ 和 $c^+(v)$ 后，Macro-F1提升0.89%，Micro-F1提升0.95%。
• 使用t-SNE进行可视化显示，SHGNN的嵌入在不同类别节点之间的分离效果优于MAGNN与MAGNN-AC。
• 仅使用树注意力聚合器，DBLP数据集上Macro-F1提升1.2%，Micro-F1提升1.0%，表明其在建模结构上下文方面的有效性。