[论文解读] Temperature-steerable flows

Manuel Dibak, Leon Klein+1 more|arXiv (Cornell University)|Dec 1, 2020

Gaussian Processes and Bayesian Inference参考文献 18被引用 4

一句话总结

本文提出温度可调流（TSF），一种归一化流架构，使玻尔兹曼生成器能够在不重新训练的情况下，对多个温度下的平衡分布进行采样。通过将流结构设计为通过恒定雅可比矩阵层和温度相关缩放实现正确的温度标度，TSF 可在任意温度下生成准确样本，显著提升了标准流在远距离温度下的泛化能力，尤其在平行热化框架中实现了高效的多温度采样。

ABSTRACT

Boltzmann generators approach the sampling problem in many-body physics by combining a normalizing flow and a statistical reweighting method to generate samples of a physical system's equilibrium density. The equilibrium distribution is usually defined by an energy function and a thermodynamic state, such as a given temperature. Here we propose temperature-steerable flows (TSF) which are able to generate a family of probability densities parametrized by a choosable temperature parameter. TSFs can be embedded in a generalized ensemble sampling framework such as parallel tempering in order to sample a physical system across thermodynamic states, such as multiple temperatures.

研究动机与目标

• 为解决在多个热力学状态（尤其是不同温度）下对多体系统平衡分布进行采样的挑战。
• 开发一种归一化流架构，可在不重新训练的情况下生成任意温度下的准确概率密度，提升采样效率。
• 通过提供温度连续的提议分布，使玻尔兹曼生成器能够用于广义系综方法（如平行热化）。
• 确保流的雅可比行列式中正确实现温度标度，保持玻尔兹曼分布随温度变化的物理标度一致性。

提出的方法

• TSF 架构采用具有温度依赖方差的高斯先验，$ p_Z^{\tau}(z) = \mathcal{N}(z|0,\tau) $，以确保先验中正确的温度标度。
• 流使用体积不变或恒定雅可比矩阵层（如 NICE 或 RNVP 中的结构），以满足条件 $ |\det J_{f_\tau}(z)|^\kappa \propto |\det J_{f_{\tau'}}(z)| $，确保在温度变化下保持正确标度。
• 模型通过归一化流目标进行训练，最小化单个训练温度下平衡样本的负对数似然（NLL）。
• 通过将潜在先验重加权为 $ \mathcal{N}(0,\tau') $，实现在其他温度下的采样，使同一模型可生成任意 $ \tau' $ 下的样本。
• 该方法被集成到平行热化框架中，使用 TSF 作为提议密度，以增强在多个温度下的采样性能。
• 该架构应用于 5D 和 20D 测试系统，以及丙氨酸二肽，使用二面角和距离作为潜在表示。

实验结果

研究问题

• RQ1 单个归一化流模型是否能在不重新训练的情况下，对广泛温度范围内的准确平衡样本进行生成？
• RQ2 所提出的温度可调流架构是否在温度变化下保持玻尔兹曼分布的正确物理标度？
• RQ3 在远离训练温度的温度下，TSF 与标准归一化流在 NLL 和采样精度方面的表现相比如何？
• RQ4 TSF 是否可作为平行热化中的有效提议，在多个热力学状态下实现采样？
• RQ5 该模型的表达能力在多大程度上限制了其在低温下恢复复杂多最小值分布的能力？

主要发现

• TSF 在远离训练温度的温度下，NLL 表现显著优于标准 RNVP 流，尤其在 20D 系统中，表明其具有更优的温度泛化能力。
• 在 5D 系统中，TSF 在所有测试温度下均保持低 NLL，而 RNVP 流在远离训练点的温度下迅速退化。
• 在 300 K 下的丙氨酸二肽中，TSF 正确识别了主要的拉氏普兰克最小值（$ \phi \approx -2 $），但对次要最小值（$ \phi \approx 1 $）采样不足，表明存在部分分布偏差。
• 在平行热化方案中使用时，TSF 在 300 K 和 600 K 下均成功恢复了正确的 $ \phi $-角分布和能量直方图，证明了其在多温度采样中的有效性。
• TSF 在不同温度下保持了准确的能量分布，表明其保持了热力学一致性。
• 该方法使可在高温（如 600 K）下训练玻尔兹曼生成器，并在低温（如 300 K）下生成有效样本，从而降低计算成本。