[论文解读] Semi-supervisedly Co-embedding Attributed Networks

Zaiqiao Meng, Shangsong Liang+2 more|ENLIGHTEN (Jurnal Bimbingan dan Konseling Islam)|Oct 31, 2019

Generative Adversarial Networks and Image Synthesis被引用 8

一句话总结

本文提出SCAN，一种用于属性网络的半监督联合嵌入模型，通过广义半监督变分自编码器（SVAE）联合学习节点和属性的低维高斯嵌入。通过在共享语义空间中建模节点和属性表示，并利用判别网络引入部分节点标签，SCAN在节点分类、属性推理和用户画像任务中表现更优，在PubMed、BlogCatalog和Flickr等真实数据集上超越了现有最先进基线方法。

ABSTRACT

Deep generative models (DGMs) have achieved remarkable advances. Semi-supervised variational auto-encoders (SVAE) as a classical DGM offer a principled framework to effectively generalize from small labelled data to large unlabelled ones, but it is difficult to incorporate rich unstructured relationships within the multiple heterogeneous entities. In this paper, to deal with the problem, we present a semi-supervised co-embedding model for attributed networks (SCAN) based on the generalized SVAE for heterogeneous data, which collaboratively learns low-dimensional vector representations of both nodes and attributes for partially labelled attributed networks semi-supervisedly. The node and attribute embeddings obtained in a unified manner by our SCAN can benefit for capturing not only the proximities between nodes but also the affinities between nodes and attributes. Moreover, our model also trains a discriminative network to learn the label predictive distribution of nodes. Experimental results on real-world networks demonstrate that our model yields excellent performance in a number of applications such as attribute inference, user profiling and node classification compared to the state-of-the-art baselines.

研究动机与目标

• 为解决现有方法孤立学习节点嵌入、无法捕捉部分标注属性网络中节点与属性之间亲和力的局限性。
• 在利用部分节点标签的同时，结合网络拓扑结构与节点属性，以提升表示学习性能。
• 通过高斯分布建模节点和属性表示的不确定性，实现鲁棒且合理的嵌入推理。
• 联合优化变分下界，平衡边重建、属性重建与节点分类，以增强下游任务性能。
• 证明在统一空间中联合嵌入节点与属性，可有效提升半监督任务（如节点分类、链接预测和属性推理）的性能。

提出的方法

• SCAN通过将节点和属性均建模为可学习均值与方差参数的潜在高斯分布，将半监督变分自编码器（SVAE）扩展至异质数据。
• 该模型联合优化由五项原子观测构成的变分证据下界（ELBO）：节点间边重建、节点与属性间边重建及节点标签预测。
• 采用两层GCN-based编码器与解码器，实现网络中信息的传播；编码器将输入特征映射为潜在高斯分布，解码器则重建边与属性。
• 训练一个判别网络，利用推断的节点嵌入预测节点标签，从而在有限标注数据下实现半监督学习。
• 通过超参数β平衡边与属性重建损失，支持链接预测或属性推理等任务的特定适应。
• 使用Adam优化器进行优化，学习率为0.01，超参数α与β针对特定任务进行调优以获得最佳性能。

Figure 1: Our model takes the adjacency matrix ( $\mathbf{A}$ ), the attribute matrix ( $\mathbf{X}$ ) and the partial node labels ( $\mathbf{Y}^{l}$ ) as input, and outputs Gaussian distributions as latent embeddings for all nodes and attributes ( $\mathbf{Z}^{n}$ and $\mathbf{Z}^{a}$ ), as well as

实验结果

研究问题

• RQ1 在共享语义空间中联合嵌入节点与属性，是否能提升半监督属性网络任务的性能？
• RQ2 通过高斯分布对节点与属性嵌入中的不确定性进行建模，如何影响表示质量与下游任务性能？
• RQ3 在属性网络中，部分节点标签能在多大程度上提升节点分类、属性推理与链接预测的性能？
• RQ4 边重建与属性重建之间的平衡（由β控制）如何影响不同下游任务的性能表现？
• RQ5 所提出的SCAN模型是否在真实属性网络中，于节点分类、属性推理与链接预测任务上超越现有最先进方法？

主要发现

• 在BlogCatalog数据集上，SCAN在节点分类任务中达到最先进性能，其中判别器（SCAN_DIS）在标签比例增加时优于所有基线方法，包括Planetoid-T。
• 基于SCAN学习表示训练的SVM分类器达到第二好的准确率，证明了所学习节点嵌入的质量。
• 在BlogCatalog数据集上，β值的变化显示出权衡：更高的β值可提升链接预测性能（AUC最高达0.88），但会降低属性推理性能（AUC降至0.84），证实β在任务特定优化中的作用。
• 对于链接预测与属性推理，SCAN在不同β值下均保持强性能，且在β=0.5时实现节点分类的最优性能。
• 在Flickr上，每10个训练周期的训练成本约为57秒，在PubMed上约为290秒，表明该模型在中等规模网络上具备合理的可扩展性。
• 该模型的代码已公开发布于GitHub，有利于结果复现与进一步研究。

Figure 2: Probabilistic graphical model of our SCAN. Generative model dependencies are shown in solid arrows, while inference model dependencies are shown in dashed arrows.