[论文解读] SPECTRE: Spectral Conditioning Helps to Overcome the Expressivity Limits of One-shot Graph Generators

Karolis Martinkus, Andreas Loukas+2 more|arXiv (Cornell University)|Apr 4, 2022

Advanced Graph Neural Networks被引用 4

一句话总结

SPECTRE 提出了一种基于 GAN 的新型图生成框架，通过首先生成图拉普拉斯谱的主导分量，然后基于这些谱特征进行图生成，从而克服了一次性图生成器在表达能力上的局限性。这种谱条件化机制实现了对图全局结构的控制，在显著提升生成图的保真度与新颖性的同时，生成速度比自回归模型快 4 至 170 倍，并在合成图和真实世界图上超越了当前最先进方法。

ABSTRACT

We approach the graph generation problem from a spectral perspective by first generating the dominant parts of the graph Laplacian spectrum and then building a graph matching these eigenvalues and eigenvectors. Spectral conditioning allows for direct modeling of the global and local graph structure and helps to overcome the expressivity and mode collapse issues of one-shot graph generators. Our novel GAN, called SPECTRE, enables the one-shot generation of much larger graphs than previously possible with one-shot models. SPECTRE outperforms state-of-the-art deep autoregressive generators in terms of modeling fidelity, while also avoiding expensive sequential generation and dependence on node ordering. A case in point, in sizable synthetic and real-world graphs SPECTRE achieves a 4-to-170 fold improvement over the best competitor that does not overfit and is 23-to-30 times faster than autoregressive generators.

研究动机与目标

• 为解决一次性图生成器中存在的表达能力不足与模式崩溃问题，这些模型因依赖局部节点交互而难以建模图的全局结构。
• 通过利用图拉普拉斯的谱特性，实现比以往一次性模型更大的、更复杂的图生成。
• 在无需序列生成或节点顺序依赖的情况下，实现高建模保真度与新颖性，优于现有的 GAN 和自回归方法。
• 证明谱条件化可在保持可微性与置换等变性的同时，实现对图全局结构的更好控制。

提出的方法

• 该方法首先使用谱生成器建模图拉普拉斯的前 k 个特征值与特征向量，捕捉连通性与聚类等全局结构特性。
• 随后，利用这些谱分量作为条件，驱动第二个生成器生成节点嵌入并构建最终图，确保谱一致性。
• 整个流程端到端可微且具有置换等变性，保证在节点重标记下结构不变性。
• 生成器采用受 GG-GAN 启发的 GNN 架构，谱条件化应用于节点嵌入初始化。
• 训练采用 GAN 目标，判别器为 PPGN，同时通过 MMD 与小波 MMD 损失在特征值与特征向量上优化谱保真度。
• 模型联合优化谱生成与图生成目标，实现在局部细化前对全局结构的直接控制。

实验结果

研究问题

• RQ1 谱条件化能否提升一次性图生成器的表达能力与结构保真度？
• RQ2 基于图拉普拉斯谱的条件化是否有助于缓解 GAN 基图生成中的模式崩溃问题？
• RQ3 一次性图生成能否在显著更快的速度下实现与自回归模型相当的性能，同时避免序列生成？
• RQ4 谱条件化在多大程度上使生成更大、更复杂的图成为可能，超越以往的一次性方法？
• RQ5 基于真实谱与生成谱的条件化，对生成图的质量与新颖性有何影响？

主要发现

• 在合成图与真实世界图上，SPECTRE 相较于表现最佳的基线模型，MMD 比值提升了 4 至 170 倍，表明其具有更优的建模保真度。
• 在 QM9 分子数据集上，SPECTRE 的验证分数与唯一性分数分别为 31.2，新颖性分数为 29.1，优于 MolGAN* 与 GG-GAN* 变体。
• SPECTRE 的生成速度比自回归生成器快 23 至 30 倍，同时在保真度与新颖性方面保持或超越其性能。
• 基于真实谱的条件化可提升性能，尤其在 k 较大时更为显著，表明更优的谱生成器有望进一步提升结果。
• SPECTRE 展现出对模式崩溃的鲁棒性，优于在 QM9 上易受此问题影响的 MolGAN* 与 GG-GAN* 等模型。
• 即使在使用不完美谱的情况下，SPECTRE 仍能生成高质量图，表明其谱条件化具备强大的泛化能力与误差校正能力。