[论文解读] Sampling from Mean-Field Gibbs Measures via Diffusion Processes

A. El Alaoui, Andrea Montanari+1 more|arXiv (Cornell University)|Oct 13, 2023

Markov Chains and Monte Carlo MethodsMathematics被引用 3

一句话总结

该论文提出了一种基于扩散的采样算法，用于高温伊辛混合 $p$-自旋玻璃的平均场吉布斯测度，通过随机定位和近似消息传递实现多项式时间采样，且归一化 Wasserstein 误差为 $o_n(1)$。该方法在完整副本对称相内有效，包括夏弗-柯克帕特里克模型，并通过证明在脆化或副本对称性破缺阈值以下，不存在稳定的算法可实现准确采样，从而建立了紧致的信息理论极限。

ABSTRACT

We consider Ising mixed $p$-spin glasses at high-temperature and without external field, and study the problem of sampling from the Gibbs distribution $μ$ in polynomial time. We develop a new sampling algorithm with complexity of the same order as evaluating the gradient of the Hamiltonian and, in particular, at most linear in the input size. We prove that, at sufficiently high-temperature, it produces samples from a distribution $μ^{alg}$ which is close in normalized Wasserstein distance to $μ$. Namely, there exists a coupling of $μ$ and $μ^{alg}$ such that if $({\boldsymbol x},{\boldsymbol x}^{alg})\in\{-1,+1\}^n imes \{-1,+1\}^n$ is a pair drawn from this coupling, then $n^{-1}{\mathbb E}\{\|{\boldsymbol x}-{\boldsymbol x}^{alg}\|_2^2\}=o_n(1)$. For the case of the Sherrington-Kirkpatrick model, our algorithm succeeds in the full replica-symmetric phase. We complement this result with a negative one for sampling algorithms satisfying a certain `stability' property, which is verified by many standard techniques. No stable algorithm can approximately sample at temperatures below the onset of shattering, even under the normalized Wasserstein metric. Further, no algorithm can sample at temperatures below the onset of replica symmetry breaking. Our sampling method implements a discretized version of a diffusion process that has become recently popular in machine learning under the name of `denoising diffusion.' We derive the same process from the general construction of stochastic localization. Implementing the diffusion process requires to efficiently approximate the mean of the tilted measure. To this end, we use an approximate message passing algorithm that, as we prove, achieves sufficiently accurate mean estimation.

研究动机与目标

• 开发一种在高温下对伊辛混合 $p$-自旋玻璃实现多项式时间采样的算法。
• 在归一化 Wasserstein 距离下实现精确采样，确保 $n^{-1}\mathbb{E}\|\mathbf{x}-\mathbf{x}^{\text{alg}}\|_2^2 = o_n(1)$。
• 通过证明在脆化或副本对称性破缺阈值以下，不存在稳定的算法可实现准确采样，从而建立信息理论极限。
• 将扩散过程与随机定位联系起来，并通过近似消息传递推导出可计算的采样方案以实现均值估计。

提出的方法

• 该算法使用从随机定位导出的离散化扩散过程，使系统向目标吉布斯测度演化。
• 其依赖于一个连续时间的随机定位过程，该过程将测度倾斜以逼近目标分布。
• 利用已证明收敛至状态演化不动点的近似消息传递（AMP）算法，对倾斜测度的均值进行近似。
• 证明了 AMP 算法可实现均方误差界，从而确保整体采样误差在归一化 Wasserstein 距离下保持为 $o_n(1)$。
• 在连续时间极限下，通过自然梯度下降步骤实现该方法，确保对状态空间的高效探索。
• 通过一致性和 AMP 状态演化在植株模型下的收敛性分析，推导出理论保证。

实验结果

研究问题

• RQ1 基于扩散的算法是否能在高温区域实现对平均场吉布斯测度的高效、多项式时间采样？
• RQ2 在脆化或副本对称性破缺存在的情况下，稳定采样算法的根本极限是什么？
• RQ3 近似消息传递在自旋玻璃模型中对倾斜吉布斯测度的均值估计能有多准确？
• RQ4 所提出的扩散过程是否能在归一化 Wasserstein 距离下生成接近真实吉布斯测度的样本？
• RQ5 该算法是否能在完整副本对称相内成功运行，包括夏弗-柯克帕特里克模型？

主要发现

• 所提出的算法实现了 $n^{-1}\mathbb{E}\|\mathbf{x}-\mathbf{x}^{\text{alg}}\|_2^2 = o_n(1)$，意味着当 $n \to \infty$ 时，真实样本与算法生成样本之间的平均平方距离趋于零。
• 该算法在混合 $p$-自旋模型的完整副本对称相内有效，包括夏弗-柯克帕特里克模型。
• 即使在归一化 Wasserstein 距离下，也不存在稳定的算法可在脆化发生之前实现对吉布斯测度的近似采样。
• 在副本对称性破缺阈值以下，没有任何算法能实现准确采样，从而确立了尖锐的信息理论屏障。
• 用于均值估计的 AMP 算法收敛至状态演化不动点，并实现了足够精确的均值估计，从而确保整体采样精度。
• 困难性结果通过一致性和无序混沌论证推导得出，表明在非副本对称区域，稳定性意味着失败。