[论文解读] Self-Supervised Learning of Contextual Embeddings for Link Prediction in Heterogeneous Networks

Ping Wang, Khushbu Agarwal+3 more|arXiv (Cornell University)|Jul 22, 2020

Advanced Graph Neural Networks参考文献 46被引用 5

一句话总结

SLiCE 提出了一种自监督框架，通过建模任务特定的子图而非依赖固定或全局聚合的表示，为异质网络中的链接预测学习动态、上下文感知的节点嵌入。它通过掩码预训练和微调，联合利用全局图结构和局部类元路径语义，超越了静态和上下文基线方法，在基准数据集上实现了最先进性能。

ABSTRACT

Representation learning methods for heterogeneous networks produce a low-dimensional vector embedding for each node that is typically fixed for all tasks involving the node. Many of the existing methods focus on obtaining a static vector representation for a node in a way that is agnostic to the downstream application where it is being used. In practice, however, downstream tasks such as link prediction require specific contextual information that can be extracted from the subgraphs related to the nodes provided as input to the task. To tackle this challenge, we develop SLiCE, a framework bridging static representation learning methods using global information from the entire graph with localized attention driven mechanisms to learn contextual node representations. We first pre-train our model in a self-supervised manner by introducing higher-order semantic associations and masking nodes, and then fine-tune our model for a specific link prediction task. Instead of training node representations by aggregating information from all semantic neighbors connected via metapaths, we automatically learn the composition of different metapaths that characterize the context for a specific task without the need for any pre-defined metapaths. SLiCE significantly outperforms both static and contextual embedding learning methods on several publicly available benchmark network datasets. We also interpret the semantic association matrix and provide its utility and relevance in making successful link predictions between heterogeneous nodes in the network.

研究动机与目标

• 为解决静态节点嵌入在异质网络中的局限性，这些嵌入无法捕捉链接预测任务特定的上下文信息。
• 通过从子图中自动学习相关语义组合，克服现有上下文学习方法对预定义元路径的依赖。
• 开发一种可扩展的自监督框架，将全局图结构与局部注意力驱动的表示相结合，以提升下游性能。
• 展示上下文节点表示在异质网络链接预测中的可解释性、有效性与可扩展性。

提出的方法

• SLiCE 在整个图上使用自监督目标进行预训练，通过掩码节点并重建异质关系之间的高阶语义关联。
• 为链接预测的输入节点对构建任务特定的上下文子图，以捕捉局部结构和语义信息。
• 该模型采用上下文转换机制，根据子图上下文动态调整节点表示，而非使用固定嵌入。
• 通过注意力机制隐式学习多种元路径的组合，无需手动指定元路径。
• 该框架采用两阶段训练过程：先在掩码子图上进行预训练，再在下游链接预测任务上进行微调。
• 分析了模型复杂度，表明其与边数近似线性增长，从而在大规模网络上具备可扩展性。

实验结果

研究问题

• RQ1 与静态方法或预定义元路径基线相比，子图级别上下文的自监督学习是否能提升异质网络中的链接预测性能？
• RQ2 SLiCE 在无需手动指定的情况下，能否有效自动学习元路径的相关组合？
• RQ3 上下文子图的设计与数量对模型性能和训练效率有何影响？
• RQ4 与现有上下文学习框架相比，SLiCE 在可扩展性和计算复杂度方面表现如何？
• RQ5 SLiCE 的表示在多大程度上可解释，并能与现实世界网络中的有意义语义上下文对齐？

主要发现

• SLiCE 在多个基准数据集（包括 Amazon、DBLP、Freebase、Twitter 和 Healthcare）上显著优于静态和上下文嵌入方法。
• 该模型在链接预测任务中实现了最先进性能，其优势归因于能够学习任务特定的上下文子图。
• 各数据集中每个节点的上下文子图数量在 2.71 到 26.32 之间，性能最佳时每节点为 5–10 个子图。
• 训练时间与边数近似线性增长，证实了尽管基于子图学习具有复杂性，该模型仍具备可扩展性。
• 该框架展现出强大的可解释性，因为注意力机制在预测过程中能突出显示相关的语义路径和子图结构。
• 将上下文子图长度加倍对训练时间影响极小，表明其对更长上下文序列的高效处理能力。