[论文解读] Weighted Multilevel Langevin Simulation of Invariant Measures

Gilles Pagès, Fabien Panloup|arXiv (Cornell University)|Jul 4, 2016

Markov Chains and Monte Carlo Methods参考文献 34被引用 6

一句话总结

本文提出了一种加权多级理查德森-罗伯格（ML2R）朗之万方法，用于高效模拟遍历扩散过程的不变测度。通过结合多级蒙特卡洛方法与理查德森-罗伯格外推法，并引入加权经验测度，该方法在目标精度为ε时实现了约ε⁻² log(ε⁻¹)的均方误差收敛速率，显著优于标准欧拉格式的1/3收敛速率。

ABSTRACT

We investigate a weighted Multilevel Richardson-Romberg extrapolation for the ergodic approximation of invariant distributions of diffusions adapted from the one introduced in~[Lemaire-Pag\`es, 2013] for regular Monte Carlo simulation. In a first result, we prove under weak confluence assumptions on the diffusion, that for any integer $R\ge2$, the procedure allows us to attain a rate $n^{\frac{R}{2R+1}}$ whereas the original algorithm convergence is at a weak rate $n^{1/3}$. Furthermore, this is achieved without any explosion of the asymptotic variance. In a second part, under stronger confluence assumptions and with the help of some second order expansions of the asymptotic error, we go deeper in the study by optimizing the choice of the parameters involved by the method. In particular, for a given $\varepsilon extgreater{}0$, we exhibit some semi-explicit parameters for which the number of iterations of the Euler scheme required to attain a Mean-Squared Error lower than $\varepsilon^2$ is about $\varepsilon^{-2}\log(\varepsilon^{-1})$. Finally, we numerically this Multilevel Langevin estimator on several examples including the simple one-dimensional Ornstein-Uhlenbeck process but also on a high dimensional diffusion motivated by a statistical problem. These examples confirm the theoretical efficiency of the method.

研究动机与目标

• 开发一种用于遍历扩散过程的多级蒙特卡洛方法，以超越标准欧拉格式的收敛速率。
• 分析在多级理查德森-罗伯格外推法下加权经验测度的渐近方差与收敛速率。
• 在更强的凝聚性假设下优化ML2R框架中的参数，以提升计算效率。
• 在低维与高维扩散过程中对方法进行数值验证，包括一个稀疏回归学习问题。

提出的方法

• 对具有递减时间步长γn的SDE欧拉离散格式应用加权多级理查德森-罗伯格外推法。
• 使用序列(ηn)与(γn)定义的加权经验测度νη,γn，满足Hn → ∞与Γn → ∞，以实现探索与收敛。
• 通过递归公式νη,γn(f) = (ηn/Hn)f(¯Xn) + (1 - ηn/Hn)νη,γn−1(f)实现在线估计。
• 在更强的凝聚性假设下推导二阶误差展开，以优化参数(ηn, γn)以最小化均方误差。
• 采用半显式参数选择策略，实现目标均方误差ε²下的ε⁻² log(ε⁻¹)迭代复杂度。
• 在1D Ornstein-Uhlenbeck过程、双阱势能系统以及使用合成数据的高维稀疏回归问题上验证了方法的有效性。

实验结果

研究问题

• RQ1 多级理查德森-罗伯格外推法能否被适配于不变测度的朗之万模拟，并实现更优的收敛速率？
• RQ2 在加权多级方案中，何种参数选择可使给定计算预算下的均方误差最小化？
• RQ3 该方法在扩散过程的弱凝聚性与强凝聚性假设下表现如何？
• RQ4 在高维统计问题（如稀疏回归）中，ML2R方法能否超越标准欧拉格式？
• RQ5 在实际实现中，该方法对参数估计误差的鲁棒性如何？

主要发现

• 在弱凝聚性假设下，ML2R方法实现了n^(R/(2R+1))的收敛速率，其中任意整数R ≥ 2，显著快于标准的n^(1/3)速率。
• 渐近方差不随层级参数R增加，确保了性能的稳定性。
• 在更强的凝聚性假设下，方法实现了约ε⁻² log(ε⁻¹)的计算复杂度，以达到均方误差低于ε²的目标。
• 数值结果证实了该方法在1D与高维扩散过程中的高效性，包括一个稀疏回归学习问题。
• 在双阱势能与稀疏回归示例中，算法对参数估计误差表现出良好的鲁棒性。
• 与原始欧拉格式相比，ML2R方法显著降低了偏差，尤其在具有稀疏性约束的高维场景中。