[论文解读] Tree Structure-Aware Graph Representation Learning via Integrated Hierarchical Aggregation and Relational Metric Learning

Ziyue Qiao, Pengyang Wang+4 more|arXiv (Cornell University)|Aug 23, 2020

Advanced Graph Neural Networks参考文献 42被引用 4

一句话总结

该论文提出T-GNN，一种新型图神经网络，通过整合门控循环单元进行多跳邻域聚合以及关系度量学习，联合保留异构图中的层次树结构与节点类型异质性，将不同节点类型嵌入到不同的特征空间中。该方法在节点分类、聚类和链接预测任务中均取得了最先进性能。

ABSTRACT

While Graph Neural Network (GNN) has shown superiority in learning node representations of homogeneous graphs, leveraging GNN on heterogeneous graphs remains a challenging problem. The dominating reason is that GNN learns node representations by aggregating neighbors' information regardless of node types. Some work is proposed to alleviate such issue by exploiting relations or meta-path to sample neighbors with distinct categories, then use attention mechanism to learn different importance for different categories. However, one limitation is that the learned representations for different types of nodes should own different feature spaces, while all the above work still project node representations into one feature space. Moreover, after exploring massive heterogeneous graphs, we identify a fact that multiple nodes with the same type always connect to a node with another type, which reveals the many-to-one schema, a.k.a. the hierarchical tree structure. But all the above work cannot preserve such tree structure, since the exact multi-hop path correlation from neighbors to the target node would be erased through aggregation. Therefore, to overcome the limitations of the literature, we propose T-GNN, a tree structure-aware graph neural network model for graph representation learning. Specifically, the proposed T-GNN consists of two modules: (1) the integrated hierarchical aggregation module and (2) the relational metric learning module. The integrated hierarchical aggregation module aims to preserve the tree structure by combining GNN with Gated Recurrent Unit to integrate the hierarchical and sequential neighborhood information on the tree structure to node representations. The relational metric learning module aims to preserve the heterogeneity by embedding each type of nodes into a type-specific space with distinct distribution based on similarity metrics.

研究动机与目标

• 为解决现有GNN在保留异构图中常见的多跳层次树结构方面的局限性。
• 克服不同节点类型共享特征空间的问题，该问题会阻碍有效的表示学习。
• 将多对一模式（例如，多个论文关联到一个作者）建模为树状邻域结构，以引入更丰富的结构归纳偏置。
• 提升下游任务（如异构图中的分类、聚类和链接预测）的节点表示质量。

提出的方法

• 将门控循环单元（GRUs）与图卷积聚合相结合，以保留多跳路径上的序列性与层次性邻域信息。
• 设计一种集成的分层聚合模块，用于捕捉树状邻域中邻居节点的顺序与深度。
• 提出一种关系度量学习模块，将每个节点类型嵌入到特定类型的特征空间中，具有独立的分布与相似性度量。
• 利用关系特定的度量空间计算节点相似性，减少在表示学习过程中不同类型节点之间的干扰。
• 在端到端可训练框架中结合分层聚合与度量学习，联合优化结构感知与异质性感知的表示。
• 采用受元路径启发的邻域采样方法，为每个目标节点定义树状结构的多跳邻域。

实验结果

研究问题

• RQ1 GNN模型能否有效保留异构图多跳邻域中固有的层次树结构？
• RQ2 与共享特征空间相比，将不同节点类型嵌入到类型特定的特征空间是否能提升表示质量？
• RQ3 分层聚合与关系度量学习的联合优化是否能提升节点级图学习任务的性能？
• RQ4 T-GNN在处理异构图中的长距离依赖与结构异质性方面，相较于现有GNN表现如何？

主要发现

• T-GNN在多个异构图基准数据集的节点分类与聚类任务中均达到最先进性能，显著优于GAT、HAN和RGCN等现有方法。
• 该模型显著提升了链接预测性能，证明其能够捕捉异构图中复杂的结构模式。
• 消融实验确认，分层聚合与关系度量学习模块均独立且协同地贡献于性能提升。
• 可视化结果表明，同类型节点被嵌入到分离良好、互不重叠的空间中，表现出高类内相似性与类间分离性。
• 该模型有效保留了多跳路径的相关性，表现为学习到的表示能够捕捉到如论文-作者-机构树状结构的层次结构特征。