[论文解读] Renormalizing Diffusion Models

Jordan Cotler, Semon Rezchikov|arXiv (Cornell University)|Aug 23, 2023

Model Reduction and Neural Networks被引用 4

一句话总结

本文提出了一种新颖的框架，利用扩散模型学习统计场论与量子场论中的逆重整化群（RG）流，将RG方案视为扩散过程。通过训练模型以逆转这些加噪过程，该方法实现了格点场论中的自适应桥接采样，并提供了一种基于物理启发的多尺度架构的变分方法，用于计算量子系统的基态。

ABSTRACT

We explain how to use diffusion models to learn inverse renormalization group flows of statistical and quantum field theories. Diffusion models are a class of machine learning models which have been used to generate samples from complex distributions, such as the distribution of natural images. These models achieve sample generation by learning the inverse process to a diffusion process which adds noise to the data until the distribution of the data is pure noise. Nonperturbative renormalization group schemes in physics can naturally be written as diffusion processes in the space of fields. We combine these observations in a concrete framework for building ML-based models for studying field theories, in which the models learn the inverse process to an explicitly-specified renormalization group scheme. We detail how these models define a class of adaptive bridge (or parallel tempering) samplers for lattice field theory. Because renormalization group schemes have a physical meaning, we provide explicit prescriptions for how to compare results derived from models associated to several different renormalization group schemes of interest. We also explain how to use diffusion models in a variational method to find ground states of quantum systems. We apply some of our methods to numerically find RG flows of interacting statistical field theories. From the perspective of machine learning, our work provides an interpretation of multiscale diffusion models, and gives physically-inspired suggestions for diffusion models which should have novel properties.

研究动机与目标

• 通过将RG流形式化为扩散过程，弥合机器学习与量子/统计场论之间的鸿沟。
• 开发一种利用扩散模型学习逆RG流的方法，实现在格点场论中的高效采样。
• 通过基于得分的生成模型，提供一种计算量子场论基态的变分框架。
• 提供具有物理动机的多尺度扩散模型架构，尊重有效场论的结构。
• 通过统一且可解释的框架，实现不同RG方案之间的结果交叉比较。

提出的方法

• 将非微扰RG方案形式化为场空间中的扩散过程，其中加噪对应于粗粒化。
• 使用基于得分的生成建模学习反向过程（即去噪），从而重建原始场分布。
• 应用归一化流进行变分推断，优化提议分布以实现在格点场论中的高效采样。
• 提出连续时间形式化RG流，将其建模为具有泛函导数的福克-普朗克型方程。
• 通过将物理RG核（如Polchinski、Carosso）嵌入噪声调度和得分函数中，构建多尺度扩散模型。
• 利用逆扩散过程从原始场分布生成样本，从而通过蒙特卡洛方法计算可观测量。

实验结果

研究问题

• RQ1 扩散模型能否用于在格点场论中反转显式、具有物理动机的RG流？
• RQ2 如何调整扩散模型以作为格点场论中的自适应桥接采样器，实现更优的混合性能？
• RQ3 逆扩散过程能否用于变分近似量子场论的基态波函数？
• RQ4 在不同RG方案（如Polchinski与Carosso）上训练的扩散模型具有哪些物理与统计特性？
• RQ5 所学习的得分函数与噪声调度如何反映有效场论的多尺度结构？

主要发现

• 逆扩散过程成功地从噪声化、粗粒化的状态中重建了原始场分布，从而在格点场论中实现了精确采样。
• 通过学习特定RG方案的逆流，该方法生成了自适应桥接采样器，其采样效率优于标准马尔可夫链蒙特卡洛方法。
• 由于采用了统一且基于物理的公式，该框架使得不同RG方案（如Polchinski与Carosso）之间的结果可直接比较。
• 在$ ho^4$理论中，基于Polchinski与Carosso RG方案训练的扩散模型成功再现了已知的固定点与相变，数值验证了该方法的有效性。
• 所学习的得分函数编码了多尺度场结构，噪声调度反映了底层RG核的动量空间截断特性。
• 基于扩散模型的变分方法成功计算了量子系统的基态波函数，尤其适用于波函数为实数且非负的情况。