[论文解读] Towards reduction of autocorrelation in HMC by machine learning

Akinori Tanaka, Akio Tomiya|arXiv (Cornell University)|Dec 11, 2017

Generative Adversarial Networks and Image Synthesis参考文献 31被引用 18

一句话总结

本文提出了一种新型的哈密顿蒙特卡洛（HMC）变体——玻尔兹曼机辅助混合蒙特卡洛（BHMC），通过引入高斯-伯努利限制玻尔兹曼机（GRBM）来降低格点场论模拟中的自相关性。通过在HMC生成的配置上训练GRBM，BHMC显著提升了采样效率，在3D φ⁴理论的对称相与破缺相中均实现了2.0–2.5的积分自相关时间，相比标准HMC（4.4–2.8）显著降低了自相关性，同时在统计误差范围内保持了精确的期望值。

ABSTRACT

In this paper we propose new algorithm to reduce autocorrelation in Markov chain Monte-Carlo algorithms for euclidean field theories on the lattice. Our proposing algorithm is the Hybrid Monte-Carlo algorithm (HMC) with restricted Boltzmann machine. We examine the validity of the algorithm by employing the phi-fourth theory in three dimension. We observe reduction of the autocorrelation both in symmetric and broken phase as well. Our proposing algorithm provides consistent central values of expectation values of the action density and one-point Green's function with ones from the original HMC in both the symmetric phase and broken phase within the statistical error. On the other hand, two-point Green's functions have slight difference between one calculated by the HMC and one by our proposing algorithm in the symmetric phase. Furthermore, near the criticality, the distribution of the one-point Green's function differs from the one from HMC. We discuss the origin of discrepancies and its improvement.

研究动机与目标

• 降低格点场论HMC模拟中的自相关性，以提升采样效率并扩大有效样本量。
• 通过机器学习加速去相关过程，缓解格点QCD及相关模型中的临界慢化现象。
• 开发一种结合HMC与生成模型（GRBM）的混合算法，以生成自相关时间更短的配置。
• 在3D φ⁴理论上验证该方法，与标准HMC对比关键可观测量与自相关特性。
• 探究GRBM采样是否能在保持物理可观测量的同时改善混合性，尤其是在临界点附近。

提出的方法

• 引入高斯-伯努利限制玻尔兹曼机（GRBM）以从HMC生成的配置中建模目标分布 e^{-S[φ]}。
• 使用块Gibbs采样与HMC配置上的随机梯度更新训练GRBM，以学习底层概率分布。
• 将训练好的GRBM用作HMC中的提议分布：通过GRBM采样生成新配置，随后执行马尔可夫链蒙特卡洛的接受/拒绝步骤以确保正确性。
• 将改进后的HMC（即BHMC）应用于3D φ⁴理论，其作用量为 S[φ] = ∑ₙ [−½φₙΔφₙ + ½m²φₙ² + λ/4! φₙ⁴]，采用8³格点体积。
• 计算一阶格林函数 〈φ〉/V 与作用量密度 〈S〉/V 的积分自相关时间 τ_int，以量化混合效率。
• 在对称相与破缺相中对比BHMC与标准HMC的结果，包括临界行为附近的表现。

实验结果

研究问题

• RQ1 训练后的GRBM是否能有效降低格点场论HMC模拟中的自相关性？
• RQ2 关键物理可观测量如 〈S〉/V 与 〈φ〉/V 在BHMC与标准HMC之间是否保持一致？
• RQ3 在临界区域中，BHMC的表现如何？该区域中标准HMC因临界慢化而性能下降。
• RQ4 两点半格林函数等高阶关联函数在BHMC与HMC之间是否存在差异？
• RQ5 基于GRBM的提议分布是否能在不引入平衡分布偏差的前提下提升采样效率？

主要发现

• 在对称相中，BHMC的积分自相关时间 τ_int 为 2.0 ± 0.1，破缺相中为 2.5 ± 0.2，而标准HMC分别为 4.4 ± 0.3 与 2.8 ± 0.2。
• 在对称相中，BHMC的平均作用量密度 〈S〉/V 为 0.50 ± 0.04，与HMC的 0.48 ± 0.03 一致；在破缺相中，BHMC为 −2.73 ± 0.04，HMC为 −2.70 ± 0.03，亦保持一致。
• 在对称相中，BHMC的单点格林函数 〈φ〉/V 为 0.00 ± 0.04，HMC为 0.00 ± 0.05；在破缺相中，BHMC为 −3.95 ± 0.03，HMC为 −3.94 ± 0.04，两者一致。
• 两点半格林函数在对称相中显示出微小差异，表明GRBM近似可能在高阶关联中引入了潜在偏差。
• 在临界点附近，BHMC中单点格林函数的分布与HMC不同，表明GRBM近似在临界区域可能失效。
• 临界点附近单点函数分布的差异归因于GRBM容量不足或在临界区域泛化能力差，提示需改进网络架构或训练策略。