[论文解读] Self-supervised Heterogeneous Graph Pre-training Based on Structural Clustering

Yaming Yang, Ziyu Guan+5 more|arXiv (Cornell University)|Oct 19, 2022

Advanced Graph Neural Networks被引用 24

一句话总结

SHGP 提出一种用于异构信息网络的自监督预训练框架，无需正样本或负样本，使用双模块 Att-HGNN 和 Att-LPA 的设置，通过结构聚类迭代地精炼嵌入。

ABSTRACT

Recent self-supervised pre-training methods on Heterogeneous Information Networks (HINs) have shown promising competitiveness over traditional semi-supervised Heterogeneous Graph Neural Networks (HGNNs). Unfortunately, their performance heavily depends on careful customization of various strategies for generating high-quality positive examples and negative examples, which notably limits their flexibility and generalization ability. In this work, we present SHGP, a novel Self-supervised Heterogeneous Graph Pre-training approach, which does not need to generate any positive examples or negative examples. It consists of two modules that share the same attention-aggregation scheme. In each iteration, the Att-LPA module produces pseudo-labels through structural clustering, which serve as the self-supervision signals to guide the Att-HGNN module to learn object embeddings and attention coefficients. The two modules can effectively utilize and enhance each other, promoting the model to learn discriminative embeddings. Extensive experiments on four real-world datasets demonstrate the superior effectiveness of SHGP against state-of-the-art unsupervised baselines and even semi-supervised baselines. We release our source code at: https://github.com/kepsail/SHGP.

研究动机与目标

• 在没有标注数据的情况下，推动在异构信息网络（HINs）上学习有用的节点嵌入。
• 消除在图的 SSL 中常见的手工正/负样本策略的依赖。
• 提出一个双模块框架，其中结构聚类引导嵌入学习，嵌入学习也反过来引导结构聚类。
• 展示可转移的嵌入，能提升下游任务如分类和聚类的性能。

提出的方法

• 引入两个交互模块：Att-HGNN（基于注意力的异构GNN编码器）和 Att-LPA（通过使用相同注意权重的标签传播进行结构聚类）。
• 使用初始的 LPA 聚类作为伪标签来对 Att-HGNN 进行暖启动，然后在共享注意力系数下迭代更新嵌入和伪标签。
• 以 Att-HGNN 的预测与 Att-LPA 产生的伪标签之间的交叉熵损失进行训练。
• 在 Att-HGNN 与 Att-LPA 之间共享相同的注意力聚合方案，以实现相互增强。
• 由于其效率和性能优势，采用 ie-HGCN 作为 Att-HGNN 的基础编码器。
• 将时间复杂度分析为近似线性于节点和边的量级（O(|V|+|E|)）。

实验结果

研究问题

• RQ1 在 HINs 上是否可以在不生成任何正样本或负样本的情况下进行自监督预训练？
• RQ2 如何将结构聚类与基于注意力的 HGNNs 融合，以产生具有辨别性的嵌入？
• RQ3 通过 SHGP 学得的嵌入是否能在多数据集上有效迁移到下游任务，如分类和聚类？
• RQ4 将伪标签传播与嵌入学习对齐是否比传统的异构图 SSL 方法具备更好的泛化能力？

主要发现

• SHGP 在四个真实世界数据集上对比最新无监督基线甚至一些半监督基线取得优越或具有竞争力的表现。
• 使用 Att-LPA 生成的伪标签并由结构聚类引导，使 Att-HGNN 能学习更好的嵌入和注意力系数，从而提高辨别能力。
• SHGP 展示出强劲的对象分类性能和聚类质量，往往超越依赖正/负样本策略的基线。
• 该方法在下游任务中展现出预训练嵌入的稳健可迁移性，表明学习到的表征具有良好的泛化性。