[论文解读] Pushing the Limits of Importance Sampling through Iterative Moment Matching

Topi Paananen, Juho Piironen+2 more|arXiv (Cornell University)|Jun 20, 2019

Probabilistic and Robust Engineering Design参考文献 38被引用 1

一句话总结

本文提出一种迭代矩匹配方法，以改进复杂且难以处理的分布的重要性抽样提议分布，从而提升估计器的准确性和收敛性。通过使样本矩与其重要性加权对应矩对齐，该方法在贝叶斯留一法交叉验证中表现更优，尤其在影响观测值存在时效果显著，并引入了一种诊断工具，可从有限样本中估计收敛速率。

ABSTRACT

The accuracy of an integral approximation via Monte Carlo sampling depends on the distribution of the integrand and the existence of its moments. In importance sampling, the choice of the proposal distribution markedly affects the existence of these moments and thus the accuracy of the obtained integral approximation. In this work, we present a method for improving the proposal distribution that applies to complicated distributions which are not available in closed form. The method iteratively matches the moments of a sample from the proposal distribution to their importance weighted moments, and is applicable to both standard importance sampling and self-normalized importance sampling. We apply the method to Bayesian leave-one-out cross-validation and show that it can significantly improve the accuracy of model assessment compared to regular Monte Carlo sampling or importance sampling when there are influential observations. We also propose a diagnostic method that can estimate the convergence rate of any Monte Carlo estimator from a finite random sample.

研究动机与目标

• 解决在处理复杂且难以处理的后验分布时，重要性抽样面临收敛性差和方差高的挑战。
• 开发一种无需目标分布闭式表达式的提议分布优化技术。
• 在存在影响观测值导致结果失真的情况下，提升贝叶斯留一法交叉验证中蒙特卡洛估计器的准确性。
• 提供一种诊断方法，可从单个有限样本中估计任意蒙特卡洛估计器的收敛速率。

提出的方法

• 通过将提议分布的原始矩与目标分布的重要性加权矩进行匹配，迭代调整提议分布。
• 使用一系列矩匹配更新，在迭代过程中逐步优化提议分布，提升其与目标分布的对齐程度。
• 将该方法应用于标准重要性抽样与自归一化重要性抽样框架，确保其广泛应用性。
• 利用迭代优化过程降低估计器的方差，并改善估计器矩的存在性。
• 引入一种诊断程序，利用单个有限样本估计蒙特卡洛估计器的收敛速率。

实验结果

研究问题

• RQ1 当目标分布无法以闭式表达时，如何系统性地改进重要性抽样中的提议分布？
• RQ2 迭代矩匹配在多大程度上可降低方差并提升贝叶斯留一法交叉验证中的收敛性？
• RQ3 能否开发一种诊断工具，从有限样本中估计蒙特卡洛估计器的收敛速率？
• RQ4 在存在影响观测值的情况下，该方法与标准蒙特卡洛方法和基本重要性抽样相比表现如何？

主要发现

• 迭代矩匹配方法显著提升了贝叶斯留一法交叉验证中积分近似值的准确性，尤其在影响观测值扭曲标准估计器时效果明显。
• 通过矩对齐优化提议分布，该方法增强了重要性抽样估计器中矩的存在性。
• 诊断工具成功地从单个有限样本中估计了蒙特卡洛估计器的收敛速率，从而实现了对估计器可靠性的实际评估。
• 与标准蒙特卡洛方法和基础重要性抽样相比，所提出方法在具有挑战性的后验场景中实现了更稳定且更准确的模型评估。