[论文解读] Schr{ö}dinger-F{ö}llmer Sampler: Sampling without Ergodicity

Jian Huang, Yuling Jiao+4 more|arXiv (Cornell University)|Jun 21, 2021

Markov Chains and Monte Carlo Methods参考文献 66被引用 5

一句话总结

本文提出了一种新型的非马尔可夫采样方法——薛定谔-弗勒默采样器（Schrödinger-Föllmer Sampler, SFS），该方法可在不依赖遍历性的情况下，从非归一化目标分布中生成样本。通过利用具有薛定谔桥问题导出漂移项的时变非时齐扩散过程，并采用欧拉-马鲁亚马方法进行离散化，SFS实现了非渐近的Wasserstein误差界，其在数值实验中表现出优于现有方法的样本质量。

ABSTRACT

Sampling from probability distributions is an important problem in statistics and machine learning, specially in Bayesian inference when integration with respect to posterior distribution is intractable and sampling from the posterior is the only viable option for inference. In this paper, we propose Schrödinger-Föllmer sampler (SFS), a novel approach for sampling from possibly unnormalized distributions. The proposed SFS is based on the Schrödinger-Föllmer diffusion process on the unit interval with a time dependent drift term, which transports the degenerate distribution at time zero to the target distribution at time one. Comparing with the existing Markov chain Monte Carlo samplers that require ergodicity, no such requirement is needed for SFS. Computationally, SFS can be easily implemented using the Euler-Maruyama discretization. In theoretical analysis, we establish non-asymptotic error bounds for the sampling distribution of SFS in the Wasserstein distance under suitable conditions. We conduct numerical experiments to evaluate the performance of SFS and demonstrate that it is able to generate samples with better quality than several existing methods.

研究动机与目标

• 为解决传统MCMC采样器的局限性，特别是其对遍历性的依赖，以及在多模态或高维设置下表现不佳的问题。
• 开发一种采样框架，能够高效地从非归一化目标分布中生成高质量样本，而无需目标分布满足强凸性或对数索波列夫条件。
• 在较弱的正则性条件下，建立采样误差在Wasserstein距离下的严格非渐近误差界。
• 通过在具有挑战性的目标分布上的数值实验，展示所提方法的实际优越性。

提出的方法

• 该方法基于一个时变非时齐伊藤随机微分方程（SDE），其漂移项 $ b(X_t, t) $ 将 $ t=0 $ 处的退化初始分布传输至 $ t=1 $ 时的目标分布 $ \mu $。
• 漂移项 $ b $ 来源于薛定谔桥问题，即在固定边缘分布的约束下，最小化相对于布朗运动的相对熵。
• 通过时间步长 $ \delta_k = t_{k+1} - t_k $ 的欧拉-马鲁亚马格式对SDE进行离散化，得到顺序更新：$ Y_{t_{k+1}} = Y_{t_k} + \delta_k b(Y_{t_k}, t_k) + \sqrt{\delta_k} \epsilon_{k+1} $。
• 为使方法在计算上可行，采用蒙特卡洛近似 $ \tilde{b}_m $ 来近似漂移项，并在 $ m $（用于近似的样本数）的项下推导误差界。
• 理论分析建立了采样分布与目标分布之间非渐近的 $ W_2 $-距离误差界，其衰减形式为 $ \mathcal{O}(\sqrt{ps}) + \mathcal{O}(\sqrt{p/m}) $，其中 $ s $ 为步长，$ p $ 为维度。
• 该方法对非遍历性具有鲁棒性，因此可在传统MCMC方法因混合缓慢而失效的多模态或高维目标分布上实现有效采样。

实验结果

研究问题

• RQ1 能否设计一种不依赖于底层马尔可夫过程遍历性的采样方法？
• RQ2 能否为基于薛定谔桥的非马尔可夫采样方案，在Wasserstein距离下建立非渐近误差界？
• RQ3 在多模态或高维分布下，所提采样器的样本质量与现有MCMC方法相比如何？
• RQ4 离散化与漂移近似对采样分布收敛至目标分布的影响是什么？
• RQ5 当目标分布缺乏强凸性或对数索波列夫性质时，该方法是否仍能实现收敛至目标分布？

主要发现

• 薛定谔-弗勒默采样器（SFS）实现了非渐近的 $ W_2 $-距离误差界，其阶为 $ \mathcal{O}(\sqrt{ps}) + \mathcal{O}(\sqrt{p/m}) $，其中 $ s $ 为步长，$ m $ 为用于漂移近似的样本数。
• 该方法无需依赖遍历性，因此可在传统MCMC方法因混合指数级缓慢而失效的多模态或高维目标分布上实现有效采样。
• 数值实验表明，SFS生成的样本质量优于多种现有方法，尤其在多模态后验等具有挑战性的场景中表现更优。
• 理论收敛性在极限下成立：当 $ K \to \infty $ 时，$ W_2(\text{Law}(Y_{t_K}(\varepsilon)), \mu) \to 0 $，且当 $ m,K \to \infty $ 时，$ W_2(\text{Law}(\widetilde{Y}_{t_K}(\varepsilon)), \mu) \to 0 $，即使 $ \mu $ 缺乏强凸性亦成立。
• 误差界分析同时考虑了离散化误差与蒙特卡洛近似误差，表明主导项分别与 $ \sqrt{ps} $ 和 $ \sqrt{p/m} $ 成比例。
• 该方法对对数索波列夫或耗散性条件的缺失具有鲁棒性，使其适用于比许多现有Langevin基采样器更广泛的目标分布类别。