[论文解读] The block-Poisson estimator for optimally tuned exact subsampling MCMC

Matias Quiroz, Minh‐Ngoc Tran+3 more|arXiv (Cornell University)|Mar 27, 2016

Markov Chains and Monte Carlo Methods参考文献 27被引用 5

一句话总结

本文提出了一种新型无偏似然估计器——块-Poisson 估计器，用于精确子采样 MCMC，可在大规模数据集上实现高效的后验推断。通过使用带控制变量和软下界约束的分块泊松采样，该方法实现了对数似然估计之间的高相关性，从而在不损失 MCMC 效率的前提下实现更小的子样本规模。其主要贡献在于在计算资源受限条件下，推导出最小化渐近方差的最优子样本规模选择的闭式准则。

ABSTRACT

Speeding up Markov Chain Monte Carlo (MCMC) for datasets with many observations by data subsampling has recently received considerable attention. A pseudo-marginal MCMC method is proposed that estimates the likelihood by data subsampling using a block-Poisson estimator. The estimator is a product of Poisson estimators, allowing us to update a single block of subsample indicators in each MCMC iteration so that a desired correlation is achieved between the logs of successive likelihood estimates. This is important since pseudo-marginal MCMC with positively correlated likelihood estimates can use substantially smaller subsamples without adversely affecting the sampling efficiency. The block-Poisson estimator is unbiased but not necessarily positive, so the algorithm runs the MCMC on the absolute value of the likelihood estimator and uses an importance sampling correction to obtain consistent estimates of the posterior mean of any function of the parameters. Our article derives guidelines to select the optimal tuning parameters for our method and shows that it compares very favourably to regular MCMC without subsampling, and to two other recently proposed exact subsampling approaches in the literature.

研究动机与目标

• 通过实现高效的子采样，解决标准 MCMC 在大规模数据集上的计算瓶颈问题。
• 开发一种无偏似然估计器，支持连续对数似然估计之间的高相关性，从而在使用更小子样本时提升 MCMC 混合效率。
• 通过结合绝对值估计与重要性抽样校正，解决伪边缘 MCMC 中负似然估计的问题。
• 在固定计算预算下，推导出最小化渐近方差的实用闭式子样本规模选择准则。

提出的方法

• 块-Poisson 估计器将似然估计构建为数据块上泊松估计器的乘积，支持在每次 MCMC 迭代中选择性地更新子样本指示变量。
• 采用 Bardenet 等人（2017）和 Quiroz 等人（2019）提出的控制变量，以降低块级估计器的方差。
• 对组成部分批处理估计器应用软下界而非严格下界，从而在允许负估计值的同时提升计算效率。
• 通过带符号的 PMMH 处理负似然估计：MCMC 在估计器绝对值上运行，随后通过重要性抽样校正进行后验均值估计。
• 该方法推导出在块-Poisson 估计器下重要性抽样估计器的渐近方差的闭式表达式，从而实现子样本规模的精确优化。
• 通过在计算预算约束下最小化渐近方差，实现最优调优，平衡 MCMC 低效性、估计器成本与负估计值概率。

实验结果

研究问题

• RQ1 块-Poisson 估计器是否能实现比现有子采样方法更高的对数似然估计相关性，从而在不损失 MCMC 效率的前提下实现更小的子样本规模？
• RQ2 如何在保持后验一致性的同时，高效处理伪边缘 MCMC 中的负似然估计？
• RQ3 在固定计算预算下，使后验均值估计器的渐近方差最小化的最优子样本数量是多少？
• RQ4 当结合带符号 PMMH 使用块-Poisson 估计器时，能否推导出最优子样本规模的闭式指导准则？

主要发现

• 块-Poisson 估计器的方差低于 Bardenet 等人（2017）中使用的 Rhee-Glynn 估计器，从而提升了估计效率。
• 软下界的应用相比严格下界显著降低了计算成本，同时仍可通过重要性抽样校正负估计值。
• 在块-Poisson 估计器下，重要性抽样估计器的渐近方差被推导出闭式表达式，从而实现子样本规模的精确优化。
• 实证实验表明，所推导的最优子样本规模调优准则即使在理想化假设下也表现出极高的准确性。
• 该方法在采样效率和计算成本方面均优于标准 MCMC 及另外两种近期的精确子采样方法。