[论文解读] On Nesting Monte Carlo Estimators

Tom Rainforth, Robert Cornish+3 more|arXiv (Cornell University)|Sep 18, 2017

Machine Learning and Algorithms被引用 45

一句话总结

本文对嵌套蒙特卡罗（NMC）估计器提供了严格的理论分析，建立了收敛速率，并确定了其收敛的条件。论文提出了一种新颖的重参数化技术，可将某些嵌套期望转化为单重期望，从而在深度为2的嵌套情况下实现 $O(1/T^{2/3})$ 的更优收敛速率——显著快于朴素NMC的 $O(1/T^{1/2})$ 速率，在贝叶斯实验设计和变分自编码器中得到了验证。

ABSTRACT

Many problems in machine learning and statistics involve nested expectations and thus do not permit conventional Monte Carlo (MC) estimation. For such problems, one must nest estimators, such that terms in an outer estimator themselves involve calculation of a separate, nested, estimation. We investigate the statistical implications of nesting MC estimators, including cases of multiple levels of nesting, and establish the conditions under which they converge. We derive corresponding rates of convergence and provide empirical evidence that these rates are observed in practice. We further establish a number of pitfalls that can arise from naive nesting of MC estimators, provide guidelines about how these can be avoided, and lay out novel methods for reformulating certain classes of nested expectation problems into single expectations, leading to improved convergence rates. We demonstrate the applicability of our work by using our results to develop a new estimator for discrete Bayesian experimental design problems and derive error bounds for a class of variational objectives.

研究动机与目标

• 分析嵌套蒙特卡罗估计器的统计收敛性质，特别是对内层期望进行非线性变换时的情形。
• 识别并解决朴素嵌套蒙特卡罗估计器中常见的陷阱，这些陷阱会导致不一致或收敛缓慢。
• 开发一种通用框架，将多层嵌套期望重写为单重期望，以实现更快的收敛速率。
• 将理论结果应用于贝叶斯实验设计和变分推断等实际问题，展示估计精度的提升。
• 为机器学习和统计学中使用嵌套蒙特卡罗方法提供统一的理论与实践指南。

提出的方法

• 在一般条件下推导嵌套蒙特卡罗估计器的收敛速率，表明当对内层期望应用非线性函数时，内层和外层估计器都必须使用递增的样本量才能实现收敛。
• 建立 $D$ 层嵌套的理论最优收敛速率为 $O(1/T^{2/(D+2)})$，其中 $T$ 为总样本预算。
• 提出一种新颖的重参数化技术，通过重新参数化联合分布，将某些类别的嵌套期望转化为单重期望，从而实现标准蒙特卡罗估计。
• 将该重参数化方法应用于贝叶斯实验设计，将期望信息增益转化为单重期望，实现更优的收敛性能。
• 通过延迟贴现模型中的模拟实验进行实证验证，比较所提估计器与朴素NMC，结果表明其方差更低、收敛更快。
• 利用方差缩减与偏差分析，证明所提重参数化估计器在均方误差（MSE）方面优于标准NMC。

实验结果

研究问题

• RQ1 当对内层期望应用非线性函数时，嵌套蒙特卡罗估计器的收敛条件与收敛速率是什么？
• RQ2 为何朴素嵌套策略无法实现最优收敛？此类方法中的关键统计陷阱是什么？
• RQ3 某些类别的嵌套期望问题是否可被重写为单重期望以实现更快收敛？
• RQ4 所提出的重参数化方法在贝叶斯实验设计等实际应用中如何提升估计精度？
• RQ5 这些理论结果对概率编程与变分推断框架的实际应用有何影响？

主要发现

• 对于 $D$ 层嵌套蒙特卡罗，最优收敛速率为 $O(1/T^{2/(D+2)})$，显著快于朴素嵌套的 $O(1/T^{1/(D+1)})$ 速率。
• 对于深度为2的嵌套（如贝叶斯实验设计），所提方法实现了 $O(1/T^{2/3})$ 的收敛速率，优于标准NMC的 $O(1/T^{1/2})$ 速率。
• 实证结果表明，所提重参数化估计器的方差显著更低、收敛更快，这在 $T=10^4$ 样本的延迟贴现模型中已得到验证。
• 该方法可实现双重不可行及多重不可行推断问题的一致估计，包括涉及Kullback-Leibler散度和熵项的问题。
• 理论分析证实，若外层期望中存在非线性映射（如对数函数），则为实现收敛，内层和外层估计器的样本量必须发散。
• 该重参数化技术适用于变分目标与贝叶斯实验设计，可获得更紧的误差界，并提升期望效用的估计精度。