[论文解读] Poisson Flow Generative Models

Yilun Xu, Ziming Liu+2 more|arXiv (Cornell University)|Sep 22, 2022

Generative Adversarial Networks and Image Synthesis被引用 11

一句话总结

Poisson Flow Generative Models (PFGM) 提出了一种新颖的归一化流框架，通过在扩展空间中将数据点建模为电荷，将高维球面上的均匀分布映射到任意数据分布。该方法生成一个泊松场（电场），其流线将初始分布变换为目标分布。该方法在 CIFAR-10 上实现了 SOTA 性能，FID 为 2.35，Inception 得分为 9.68，同时通过基于附加维度的稳定反向 ODE 求解器，使采样速度比基于 SDE 的方法快 10–20 倍。

ABSTRACT

We propose a new "Poisson flow" generative model (PFGM) that maps a uniform distribution on a high-dimensional hemisphere into any data distribution. We interpret the data points as electrical charges on the $z=0$ hyperplane in a space augmented with an additional dimension $z$, generating a high-dimensional electric field (the gradient of the solution to Poisson equation). We prove that if these charges flow upward along electric field lines, their initial distribution in the $z=0$ plane transforms into a distribution on the hemisphere of radius $r$ that becomes uniform in the $r o\infty$ limit. To learn the bijective transformation, we estimate the normalized field in the augmented space. For sampling, we devise a backward ODE that is anchored by the physically meaningful additional dimension: the samples hit the unaugmented data manifold when the $z$ reaches zero. Experimentally, PFGM achieves current state-of-the-art performance among the normalizing flow models on CIFAR-10, with an Inception score of $9.68$ and a FID score of $2.35$. It also performs on par with the state-of-the-art SDE approaches while offering $10 imes $ to $20 imes$ acceleration on image generation tasks. Additionally, PFGM appears more tolerant of estimation errors on a weaker network architecture and robust to the step size in the Euler method. The code is available at https://github.com/Newbeeer/poisson_flow .

研究动机与目标

• 开发一种稳定、快速且高质量的归一化流用于生成建模，避免 GAN 的不稳定性与 SDE 的采样缓慢问题。
• 利用物理原理——特别是泊松方程与电场动力学——在高维空间中定义从简单先验分布到复杂数据分布的双射变换。
• 通过锚定在附加维度的反向 ODE 实现高效且鲁棒的采样，提升稳定性并增强对数值误差的容忍度。
• 证明该方法在样本质量与推理速度方面均优于现有的连续归一化流与基于 ODE 的 SDE 采样器。
• 探索可逆且具有物理解释性的潜在空间在下游任务（如插值与温度缩放）中的实用性。

提出的方法

• 该模型将 N 维数据点视为 (N+1) 维空间中 z=0 超平面上的正电荷，通过求解以数据为源项的泊松方程的梯度，生成泊松场。
• 前向 ODE 沿泊松场线演化粒子，将 z=0 平面上的初始分布变换为 r→∞ 时的球面上的均匀分布。
• 反向 ODE 逆转此过程：从球面上的均匀负电荷出发，粒子沿场线流回 z=0 平面，从而获得数据分布的样本。
• 泊松场由神经网络估计，归一化场用于确保训练与采样的稳定性。
• 采样使用反向 ODE 求解器（如 RK45），时间变量在 z 维度上锚定，降低对步长与模型架构误差的敏感性。
• 该方法采用基于得分的训练目标与归一化场估计器，实现稳定优化与高保真生成。

实验结果

研究问题

• RQ1 基于泊松场动力学的物理启发连续归一化流能否在图像生成中实现 SOTA 的样本质量？
• RQ2 将 ODE 锚定在附加维度是否能提升对数值误差与模型容量限制的鲁棒性？
• RQ3 基于泊松流的反向 ODE 采样器能否在速度与样本质量上均超越基于 SDE 的 ODE 采样器？
• RQ4 泊松流的可逆结构如何支持图像插值与潜在空间操控等下游应用？
• RQ5 当使用较弱的网络架构或变化的步长时，该方法在稳定性与有效性方面表现如何？

主要发现

• PFGM 在 CIFAR-10 上实现了 2.35 的 Fréchet Inception Distance (FID) 与 9.68 的 Inception 得分，创下归一化流模型的新 SOTA 记录。
• 该方法的采样速度比基于 SDE 的方法快 10–20 倍，总墙钟采样时间分别为 57.81 秒（PFGM）与 490.65 秒（VP-SDE 搭配 PC 采样器）。
• PFGM 是唯一在 NCSNv2 架构上无需校正即可生成高质量样本的 ODE 基采样器，而其他 ODE 基线方法均失败。
• PFGM 的反向 ODE 对步长变化表现出更强的鲁棒性，在 10 至 100 次函数评估范围内均保持高质量样本。
• 可逆 ODE 支持潜在空间中高质量的图像插值与温度缩放，展示了有意义的解耦与可控性。
• PFGM 可扩展至高分辨率图像生成，在 256×256 分辨率下使用 DDPM++ 通道配置成功生成 LSUN 卧室图像的逼真样本。