[论文解读] Order Matters: Probabilistic Modeling of Node Sequence for Graph Generation

Xiaohong Chen, Han Xu+3 more|arXiv (Cornell University)|Jun 11, 2021

Topic Modeling参考文献 30被引用 4

一句话总结

本文提出一种变分推断方法，用于建模自回归图生成模型中的节点顺序，通过联合建模图及其生成序列，实现精确的边缘似然估计。通过学习节点顺序上的变分分布，该方法在对数似然的变分下界上取得更紧的界限，并相较于使用固定或随机顺序的基线方法，生成了更高质量的图。

ABSTRACT

A graph generative model defines a distribution over graphs. One type of generative model is constructed by autoregressive neural networks, which sequentially add nodes and edges to generate a graph. However, the likelihood of a graph under the autoregressive model is intractable, as there are numerous sequences leading to the given graph; this makes maximum likelihood estimation challenging. Instead, in this work we derive the exact joint probability over the graph and the node ordering of the sequential process. From the joint, we approximately marginalize out the node orderings and compute a lower bound on the log-likelihood using variational inference. We train graph generative models by maximizing this bound, without using the ad-hoc node orderings of previous methods. Our experiments show that the log-likelihood bound is significantly tighter than the bound of previous schemes. Moreover, the models fitted with the proposed algorithm can generate high-quality graphs that match the structures of target graphs not seen during training. We have made our code publicly available at \hyperref[https://github.com/tufts-ml/graph-generation-vi]{https://github.com/tufts-ml/graph-generation-vi}.

研究动机与目标

• 解决自回归图生成模型中对节点顺序进行边缘化时的不可计算性问题。
• 为图生成中的节点序列建模提供一个严谨的概率框架。
• 通过变分推断实现精确的对数似然估计，从而改进模型训练与评估。
• 消除先前方法中对启发式或标准节点顺序的依赖。
• 通过学习有意义的、数据驱动的节点顺序，提升生成图的质量。

提出的方法

• 本文推导了图 G 和节点顺序 π 的联合概率 p(G, π)，并考虑了图的自同构性。
• 提出一种变分推断方法以近似后验分布 p(π|G)，并训练神经网络以推断给定图的可能顺序。
• 在训练过程中最大化对数似然的变分下界，从而替代固定或随机节点顺序的使用。
• 在评估中使用重要性采样来估计真实的对数似然。
• 该方法被应用于基于邻接矩阵和基于图序列的自回归模型。
• 模型通过变分下界进行端到端训练，其中变分分布指导生成过程。

实验结果

研究问题

• RQ1 当节点顺序不可观测时，如何在自回归图生成模型中估计图的边缘似然？
• RQ2 图的自同构性与自回归生成中图概率计算之间存在何种关系？
• RQ3 对节点顺序进行变分推断是否能获得比现有方法更紧的对数似然下界？
• RQ4 与固定或随机顺序相比，学习数据驱动的节点顺序是否能提升生成图的质量？
• RQ5 所提出的方法是否能通过使用对数似然实现更准确的模型评估与比较？

主要发现

• 对数似然的变分下界显著优于现有方法，尤其在结构化数据集（如 Community-small）上表现突出。
• 在 Community-small 数据集上，该模型能准确捕捉一元边跨社区的结构，而 BFS 和均匀基线方法则未能实现。
• 使用 VI 训练模型生成的图与真实数据更相似，其度分布、聚类系数以及 4 节点轨道模式的保留效果更优。
• 在六个数据集中的四个上，MMD 评分均显示一致改进，VI 方法在 Enzymes、Yeast 和 Cora 数据集上优于基线。
• 变分分布学习到了有意义的模式，例如邻接矩阵中的带状矩阵结构，这些与数据的结构特征一致。
• 该方法提升了预测性能，并通过似然估计实现了更可靠的模型评估，尽管可扩展性仍是局限。