[论文解读] Unsupervised Attributed Multiplex Network Embedding

Chanyoung Park, Donghyun Kim+2 more|arXiv (Cornell University)|Nov 15, 2019

Advanced Graph Neural Networks参考文献 40被引用 20

一句话总结

该论文提出DMGI，一种完全无监督的属性多层网络嵌入方法，通过利用一致性正则化和受Deep Graph Infomax启发的通用判别器，联合学习多种关系类型下的节点表示。DMGI在节点聚类、相似性搜索和分类任务中均优于当前最先进方法，实现了SOTA性能，且无需节点标签或关系类型的显式监督。

ABSTRACT

Nodes in a multiplex network are connected by multiple types of relations. However, most existing network embedding methods assume that only a single type of relation exists between nodes. Even for those that consider the multiplexity of a network, they overlook node attributes, resort to node labels for training, and fail to model the global properties of a graph. We present a simple yet effective unsupervised network embedding method for attributed multiplex network called DMGI, inspired by Deep Graph Infomax (DGI) that maximizes the mutual information between local patches of a graph, and the global representation of the entire graph. We devise a systematic way to jointly integrate the node embeddings from multiple graphs by introducing 1) the consensus regularization framework that minimizes the disagreements among the relation-type specific node embeddings, and 2) the universal discriminator that discriminates true samples regardless of the relation types. We also show that the attention mechanism infers the importance of each relation type, and thus can be useful for filtering unnecessary relation types as a preprocessing step. Extensive experiments on various downstream tasks demonstrate that DMGI outperforms the state-of-the-art methods, even though DMGI is fully unsupervised.

研究动机与目标

• 填补现有网络嵌入方法在多层网络中无法联合建模多种关系类型和节点属性的空白。
• 克服先前无监督方法依赖局部归纳偏置（如GCN或随机游走）而无法捕捉全局图结构的局限性。
• 构建一个框架，实现不同关系类型嵌入之间的相互增强，同时保留节点属性信息。
• 实现无需节点标签的自监督表示学习，使其适用于标注成本高昂的真实世界网络。
• 通过注意力机制学习每种关系类型的重要性，实现可解释性，支持关系过滤的预处理。

提出的方法

• 将Deep Graph Infomax（DGI）适配至多层网络，通过训练节点编码器以最大化局部节点片段与全局图级表示之间的互信息。
• 引入一致性正则化框架，最小化不同关系类型特定的节点嵌入之间的分歧，促进不同图视图间的对齐。
• 设计一个通用判别器，可区分所有关系类型下的真实（图级摘要，局部片段）配对，实现在无需关系类型特异性判别下的联合训练。
• 采用共享评分矩阵M来建模多种关系类型之间的交互，实现跨视图的信息流动。
• 使用图卷积网络（GCNs）编码节点属性和局部结构，通过DGI目标将其整合至全局表示中。
• 应用注意力机制学习每种关系类型的重要性，实现动态加权，并在预处理阶段潜在地过滤无关关系。

实验结果

研究问题

• RQ1 完全无监督的框架能否在属性多层网络中联合学习多种关系类型下的高质量节点嵌入？
• RQ2 一致性正则化在对齐关系特定节点表示的同时，能否有效保留其独特的结构信息？
• RQ3 通用判别器在统一多样化关系类型监督方面，能在多大程度上提升表示学习效果？
• RQ4 DMGI中的注意力机制能否准确推断不同关系类型之间的相对重要性，且是否有助于预处理或关系选择？
• RQ5 DMGI是否在节点分类、聚类和相似性搜索等下游任务中实现SOTA性能，且无需使用节点标签？

主要发现

• DMGI在节点分类（DBLP上F1-macro: 0.778）、聚类（NMI: 0.554）和相似性搜索（Sim@5: 0.798）任务中均取得最佳性能，优于当前最先进无监督方法。
• 消融实验表明，若移除一致性正则化目标中的第二项（公式6），F1-macro降至0.749，表明其在对齐中起关键作用。
• 当为每种关系类型使用独立的评分矩阵（M ≠ M^(1) ≠ … ≠ M^(|R|)）时，性能显著下降（F1-macro: 0.645），证明共享交互建模的优势。
• 若移除节点属性（仅使用邻接矩阵作为输入），F1-macro降至0.377，表明属性信息在表示质量中具有决定性作用。
• 将邻接矩阵而非属性矩阵打乱，导致性能急剧下降（F1-macro: 0.364），证实结构信息比属性排列更具关键性。
• DMGI中的注意力机制${}_{\text{attn}}$学习到了有意义的关系权重，消融实验表明，使用随机采样进行读出的性能低于SAGPool或最大池化。