[论文解读] Stochastic Blockmodels meet Graph Neural Networks

Nikhil Mehta, Lawrence Carin+1 more|arXiv (Cornell University)|May 14, 2019

Advanced Graph Neural Networks被引用 17

一句话总结

该论文提出了一种深度生成框架 DGLFRM，通过稀疏变分自编码器将重叠随机块模型（OSBM）与图神经网络（GNNs）统一，实现了可解释性、可扩展的节点嵌入，并具备快速推理能力。通过结合基于 GNN 的识别模型与稀疏二值潜在特征的 Beta-Bernoulli 先验，该方法在无需预设社区数量的情况下，实现了最先进的链接预测性能与自然的社区发现能力。

ABSTRACT

Stochastic blockmodels (SBM) and their variants, $e.g.$, mixed-membership and overlapping stochastic blockmodels, are latent variable based generative models for graphs. They have proven to be successful for various tasks, such as discovering the community structure and link prediction on graph-structured data. Recently, graph neural networks, $e.g.$, graph convolutional networks, have also emerged as a promising approach to learn powerful representations (embeddings) for the nodes in the graph, by exploiting graph properties such as locality and invariance. In this work, we unify these two directions by developing a \emph{sparse} variational autoencoder for graphs, that retains the interpretability of SBMs, while also enjoying the excellent predictive performance of graph neural nets. Moreover, our framework is accompanied by a fast recognition model that enables fast inference of the node embeddings (which are of independent interest for inference in SBM and its variants). Although we develop this framework for a particular type of SBM, namely the \emph{overlapping} stochastic blockmodel, the proposed framework can be adapted readily for other types of SBMs. Experimental results on several benchmarks demonstrate encouraging results on link prediction while learning an interpretable latent structure that can be used for community discovery.

研究动机与目标

• 为解决传统 OSBM 的局限性，如表达能力有限以及基于 MCMC 的推理速度慢，通过将深度生成建模与图神经网络相结合。
• 通过使用随机梯度变分贝叶斯（SGVB）识别模型，在重叠随机块模型中实现快速、可扩展的推理。
• 在增强建模能力的同时保留 OSBM 的可解释性，通过神经网络解码器实现深度非线性链接预测。
• 通过潜在特征上的非参数 Stick-Breaking 先验，实现对活跃社区数量的自动发现。
• 证明所学习的稀疏二值嵌入能够同时支持准确的链接预测与有意义的重叠社区检测。

提出的方法

• 提出一种基于稀疏变分自编码器（VAE）的深度生成模型 DGLFRM，采用深度神经网络作为非线性生成器/解码器，从节点嵌入建模链接概率。
• 采用基于 GNN 的识别模型（编码器）通过重参数化技巧对伯努利和贝塔分布进行快速端到端节点嵌入推理。
• 使用 Beta-Bernoulli 过程先验对稀疏二值节点嵌入进行建模，实现对活跃社区数量的自动推理。
• 应用随机梯度变分贝叶斯（SGVB）推理，以绕过共轭性约束，实现在大规模图上的高效、可扩展训练。
• 设计生成器，将链接概率作为节点嵌入双线性乘积的非线性函数，提升表达能力，超越线性 OSBM。
• 通过支持多种 GNN（如 GCN）作为编码器以及不同边缘类型的可能性分布（如伯努利-泊松分布），实现灵活的架构选择。

实验结果

研究问题

• RQ1 结合 OSBM 与 GNNs 的深度生成模型是否能在链接预测性能上超越传统 OSBM 或标准 GNNs？
• RQ2 所提出的稀疏 VAE 框架是否能在不依赖 MCMC 或平均场变分推理的前提下，实现在重叠随机块模型中的快速、可扩展推理？
• RQ3 该模型是否能学习到与真实情况或领域特定分组一致的可解释重叠社区结构？
• RQ4 非参数先验是否能自动推断活跃社区数量，而无需手动指定？
• RQ5 在链接预测与社区发现两方面，该模型的性能与基线 GNN 模型（如 VGAE）相比如何？

主要发现

• DGLFRM 在多个基准数据集上实现了链接预测的最先进性能，优于传统 OSBM 与基于 GNN 的模型（如 VGAE）。
• 该模型学习到一种稀疏二值潜在结构，能自然识别重叠社区，在合成数据中推断的成员关系与真实标签高度一致。
• 识别模型实现了快速的节点嵌入推理，其速度与可扩展性显著优于传统的 MCMC 和平均场变分推理。
• Stick-Breaking 先验使模型能够自动推断有效社区数量，后验推理可自动关闭嵌入矩阵中的非活跃列。
• 在 NIPS12 数据集上的定性分析表明，所学习的社区对应于连贯的子领域，作者被正确分配到多个社区（如 Sejnowski 同时属于多个主题）。
• 与需要后处理聚类（如 K-means）的 VGAE（产生密集高斯嵌入）不同，DGLFRM 的稀疏二值嵌入可直接支持可解释的重叠聚类，无需额外步骤。