[论文解读] Regularised Zero-Variance Control Variates

Leah F. South, Antonietta Mira+1 more|arXiv (Cornell University)|Nov 13, 2018

Statistical Methods and Inference被引用 2

一句话总结

本文提出正则化零方差控制变量（ZV-CV），以降低高维贝叶斯推断中蒙特卡洛估计器的方差。通过应用惩罚回归（如Lasso）或对数目标函数导数的事先子集选择，该方法缓解了经典最小二乘ZV-CV在高维情况下的维度灾难问题，显著提升了计算效率并降低了方差，同时保持了精度，相关方法已集成于R包 ZVCV 中。

ABSTRACT

Zero-variance control variates (ZV-CV) are a post-processing method to reduce the variance of Monte Carlo estimators of expectations using the derivatives of the log target. Once the derivatives are available, the only additional computational effort lies in solving a linear regression problem. Significant variance reductions have been achieved with this method in low dimensional examples, but the number of covariates in the regression rapidly increases with the dimension of the target. In this paper, we present compelling empirical evidence that the use of penalised regression techniques in the selection of high-dimensional control variates provides performance gains over the classical least squares method. Another type of regularisation based on using subsets of derivatives, or a priori regularisation as we refer to it in this paper, is also proposed to reduce computational and storage requirements. Several examples showing the utility and limitations of regularised ZV-CV for Bayesian inference are given. The methods proposed in this paper are accessible through the R package ZVCV.

研究动机与目标

• 解决经典零方差控制变量在高维场景下的可扩展性问题，后者在高维下因过多协变量和计算成本而受限。
• 通过在对数目标函数导数上应用惩罚回归技术（如Lasso），提升蒙特卡洛估计器的方差减少性能。
• 通过事前正则化（即仅选择可用导数项的一个子集）降低计算与存储需求。
• 通过R包 ZVCV 提供实用且易于访问的实现，便于在贝叶斯推断工作流中使用。

提出的方法

• 在ZV-CV的线性回归问题中应用惩罚回归（如Lasso、岭回归），以选择相关导数项，并在高维设置中减少过拟合。
• 通过基于启发式或结构准则的事先正则化，仅选择对数目标函数导数的一个子集，以限制协变量数量。
• 将控制变量表述为对数目标函数导数的线性组合，其系数通过正则化最小二乘法学习得到。
• 将正则化控制变量集成到标准蒙特卡洛估计器中，以降低方差，同时不改变底层采样过程。
• 通过在低维与高维贝叶斯模型中的实证比较评估性能，包括后验均值与证据估计。

实验结果

研究问题

• RQ1 惩罚回归技术能否在高维设置中提升零方差控制变量的方差减少性能？
• RQ2 对导数项的事先选择如何影响高维模型中ZV-CV的计算效率与准确性？
• RQ3 在使用正则化与经典最小二乘ZV-CV时，方差减少与计算成本之间的权衡如何？
• RQ4 在哪些类型的贝叶斯推断问题中，正则化ZV-CV能带来最显著的性能提升？

主要发现

• 与经典最小二乘法相比，Lasso等惩罚回归技术在高维ZV-CV中显著提升了方差减少效果，尤其当协变量数量超过样本量时。
• 通过仅选择部分导数项的事先正则化，显著降低了计算与存储成本，同时保持了强劲的方差减少性能。
• 所提出的方法在低维与高维示例中均实现了显著的方差减少，包括具有挑战性的后验均值与边际似然估计任务。
• 实证结果表明，在高维设置中，正则化ZV-CV在有效样本量与估计精度方面均优于标准ZV-CV。