[论文解读] Permutation Invariant Graph Generation via Score-Based Generative Modeling

Chenhao Niu, Yang Song+4 more|arXiv (Cornell University)|Mar 1, 2020

Advanced Graph Neural Networks被引用 30

一句话总结

本论文提出基于分数生成建模的置换不变图生成方法，使用置换等变的 EDP-GNN 来建模分数函数，并通过退火 Langevin 动力学进行采样；在生成质量方面具有竞争力，并在边级预测方面表现出色。

ABSTRACT

Learning generative models for graph-structured data is challenging because graphs are discrete, combinatorial, and the underlying data distribution is invariant to the ordering of nodes. However, most of the existing generative models for graphs are not invariant to the chosen ordering, which might lead to an undesirable bias in the learned distribution. To address this difficulty, we propose a permutation invariant approach to modeling graphs, using the recent framework of score-based generative modeling. In particular, we design a permutation equivariant, multi-channel graph neural network to model the gradient of the data distribution at the input graph (a.k.a., the score function). This permutation equivariant model of gradients implicitly defines a permutation invariant distribution for graphs. We train this graph neural network with score matching and sample from it with annealed Langevin dynamics. In our experiments, we first demonstrate the capacity of this new architecture in learning discrete graph algorithms. For graph generation, we find that our learning approach achieves better or comparable results to existing models on benchmark datasets.

研究动机与目标

• 解决图生成建模中的置换不变性。
• 引入适用于图的置换等变分数网络。
• 利用退火 Langevin 动力学从学习到的分数中采样图。
• 提出带多通道邻接矩阵的 EDP-GNN 架构。
• 在基准数据集上展示具有竞争力的生成质量和强边级预测结果。

提出的方法

• 用置换等变的图神经网络（EDP-GNN）建模数据分布的梯度（分数）。
• 使用对邻接矩阵进行高斯扰动的分数匹配来训练分数模型。
• 通过带有噪声水平条件的退火 Langevin 动力学对样本进行采样。
• 通过扰动邻接矩阵并对最终样本进行量化来处理离散图数据。
• 通过同变分数及其线积分表示来确保所学习的图分布的置换不变性。

实验结果

研究问题

• RQ1 置换等变分数函数是否可以导出对图的置换不变分布？
• RQ2 与现有图生成模型相比，所提出的 EDP-GNN 在学习边级特征和图分布方面有多有效？
• RQ3 对学习到的分数进行退火 Langevin 采样是否能在基准数据集上产生具有竞争力质量的图样本？

主要发现

• 带多通道邻接矩阵的 EDP-GNN 在边级预测方面优于普通 GNN，尤其是在加权图上。
• 基于分数的生成方法在基准指标上产生的图样本的生成质量可与 GraphRNN 和 GraphNVP 相媲美。
• 模型能够学习将扰动后的图映射到去噪结构，揭示可解释的中间通道表示。
• 在图生成任务上，该方法在多项统计量和数据集上实现了具有竞争力的 MMD 指标。
• 分数网络的置换等变性会在所隐含的图分布中诱导出置换不变性。