[论文解读] Unbiased Multilevel Monte Carlo methods for intractable distributions: MLMC meets MCMC

Guanyang Wang, Tianze Wang|arXiv (Cornell University)|Apr 11, 2022

Markov Chains and Monte Carlo Methods被引用 5

一句话总结

该论文提出了一种新颖的无偏多级蒙特卡洛（MLMC）框架，将无偏MCMC与MLMC相结合，用于在不可行分布下估计期望函数和嵌套期望。该方法实现了并行计算，计算复杂度最优为$O(1/\varepsilon^2)$，且方差有限，能够高效实现$\varepsilon$-精度。

ABSTRACT

Constructing unbiased estimators from Markov chain Monte Carlo (MCMC) outputs is a difficult problem that has recently received a lot of attention in the statistics and machine learning communities. However, the current unbiased MCMC framework only works when the quantity of interest is an expectation, which excludes many practical applications. In this paper, we propose a general method for constructing unbiased estimators for functions of expectations and extend it to construct unbiased estimators for nested expectations. Our approach combines and generalizes the unbiased MCMC and Multilevel Monte Carlo (MLMC) methods. In contrast to traditional sequential methods, our estimator can be implemented on parallel processors. We show that our estimator has a finite variance and computational complexity and can achieve $\varepsilon$-accuracy within the optimal $O(1/\varepsilon^2)$ computational cost under mild conditions. Our numerical experiments confirm our theoretical findings and demonstrate the benefits of unbiased estimators in the massively parallel regime.

研究动机与目标

• 解决目标分布不可行且仅能获得MCMC输出时，构造一般泛函期望的无偏估计器的挑战。
• 将现有的无偏MCMC方法扩展至处理复杂泛函（如比值、分位数和嵌套期望），而不仅限于简单期望。
• 通过消除MCMC输出中的偏差，实现在无需处理器间通信的前提下大规模并行计算。
• 在温和条件下，实现$\varepsilon$-精度的最优计算复杂度$O(1/\varepsilon^2)$，且方差有限。
• 将框架推广至处理嵌套期望和期望的非线性泛函，包括存在定义域限制的情形。

提出的方法

• 将无偏MCMC（例如通过伯努利薄化法实现的耦合MCMC）与多级蒙特卡洛结合，构造$g(\mathbb{E}_\pi[f])$的无偏估计器。
• 使用耦合技术在嵌套场景中构造条件期望的无偏估计器，如$\mathbb{E}_{\pi_2}[f_1]/\mathbb{E}_{\pi_1}[f_2]$。
• 应用MLMC框架，通过在多个层级上组合偏差递减的估计器，降低期望泛函估计器的方差。
• 实施两阶段过程：首先从后验分布中采样$\theta_1$，然后使用JOA（伯努利薄化）估计器生成$\mathbb{E}_{\theta_2|\theta_1}[\lambda_d]$的无偏估计，最后通过无偏MLMC估计$d$上的最大值。
• 使用参数$p \in (0,1)$控制伯努利薄化过程中耦合的概率，以平衡方差与计算成本。
• 通过避免序列依赖关系，确保估计器完全可并行化，使各处理器独立计算，无需通信。

实验结果

研究问题

• RQ1 当底层分布不可行时，能否为一般期望泛函（如期望比值或条件期望的最大值）构造无偏估计器？
• RQ2 无偏MCMC与MLMC框架如何结合，以在不可行分布存在的情况下实现最优计算复杂度和有限方差？
• RQ3 该方法在高维或混合缓慢的马尔可夫链中的计算效率如何？参数$p$应如何优化？
• RQ4 该框架能否扩展至处理直接依赖于测度$\pi$的泛函（如分位数或MAP估计器），而不仅限于期望的泛函？
• RQ5 在涉及嵌套期望的实际问题（如具有截断分布的贝叶斯层次模型）中，该方法的性能如何？

主要发现

• 所提方法在温和条件下以$O(1/\varepsilon^2)$的计算复杂度实现$\varepsilon$-精度，达到蒙特卡洛方法的最优速率。
• 估计器具有有限方差且完全可并行化，可在无通信条件下实现多处理器上的无偏估计。
• 数值实验验证了理论结果，显示在13个国家的人乳头瘤病毒-癌症模型中，通过$10^5$次独立运行，准确估计了最大条件期望。
• 该方法成功估计了$U = \mathbb{E}_{\theta_1}[\max_d \mathbb{E}_{\theta_2|\theta_1}[\lambda_d]]$，结果表明第12个国家的$\lambda_d \approx 21$最高。
• 该框架能够处理比值、归一化常数比值和嵌套期望等复杂泛函，超越了标准期望的范围。
• 实证结果表明参数$p$对方差和计算成本均有显著影响，提示实际应用中需进行最优调参。