[论文解读] NetGAN: Generating Graphs via Random Walks

Aleksandar Bojchevski, Oleksandr Shchur+2 more|arXiv (Cornell University)|Mar 2, 2018

Advanced Graph Neural Networks参考文献 33被引用 151

一句话总结

NetGAN 是一种隐式生成模型，使用 Wasserstein GAN 学习图上有偏随机游走的分布，生成的图模仿真实网络并对链接预测具有泛化能力。

ABSTRACT

We propose NetGAN - the first implicit generative model for graphs able to mimic real-world networks. We pose the problem of graph generation as learning the distribution of biased random walks over the input graph. The proposed model is based on a stochastic neural network that generates discrete output samples and is trained using the Wasserstein GAN objective. NetGAN is able to produce graphs that exhibit well-known network patterns without explicitly specifying them in the model definition. At the same time, our model exhibits strong generalization properties, as highlighted by its competitive link prediction performance, despite not being trained specifically for this task. Being the first approach to combine both of these desirable properties, NetGAN opens exciting avenues for further research.

研究动机与目标

• 激励并开发一种基于隐式生成的图模型，能够从单一现实世界图学习。
• 在模型中无需显式指定，捕捉关键的拓扑特性（例如度分布、社区结构）。
• 证明生成的图能够超越输入图进行泛化，尤其通过链接预测性能体现。

提出的方法

• 将图生成问题建模为学习输入图上有偏随机游走的分布。
• 使用随机神经网络生成器来产生随机游走，使用判别器来区分生成的游走与真实游走。
• 采用带偏的二阶随机游走采样策略，以及基于 LSTM 的生成器，配合直通 Gumbel 的可微采样。
• 使用 Wasserstein GAN 目标与梯度惩罚进行训练以提高稳定性。
• 通过一种概率性、边感知的采样过程将生成的游走组装成二值邻接矩阵。

实验结果

研究问题

• RQ1 一个基于隐式 GAN 的模型是否能够在不进行明确属性约束的情况下生成人工现实世界网络属性的图？
• RQ2 NetGAN 生成的图是否能超越训练图进行泛化，如通过链接预测性能所证实？
• RQ3 超参数（如随机游走长度、潜在空间）如何影响生成图的真实感和多样性？
• RQ4 通过在随机游走上操作而非完整邻接矩阵，模型是否对大图具备可扩展性？

主要发现

图	最大度	同配性	三角形计数	幂律指数	跨社区统一密度	社区内统一密度	聚类系数	特征路径长度	平均秩
Cora-ML	240	-0.075	2,814	1.860	4.3e-4	1.7e-3	2.73e-3	5.61
NetGAN EO (52% EO)	233	-0.066	1,588	1.793	6.0e-4	1.4e-3	2.44e-3	5.20	1.75

• NetGAN 在不显式编码这些模式的情况下，一直再现了许多已知网络模式。
• 该模型显示出强泛化能力，在若干数据集上达到有竞争力或最先进的链接预测表现。
• 更长的随机游走（T）在边缘生成之上提升性能，但超过某一长度后的收益递减。
• 潜在空间插值在图属性上产生平滑过渡，使得图具备变化的特征。
• 采样更多的随机游走可以提升链接预测性能，尤其在较大图上，且采样是可并行的。