[论文解读] Regularised Zero-Variance Control Variates for High-Dimensional Variance Reduction

Leah F. South, Chris J. Oates+2 more|arXiv (Cornell University)|Nov 13, 2018

Statistical Methods and Inference参考文献 60被引用 19

一句话总结

本文提出通过利用惩罚回归和基于子集的导数选择，采用正则化零方差控制变量子（ZV-CV）方法，以实现高维蒙特卡洛估计器的方差缩减。结果表明，正则化显著提升了经典最小二乘法在高维下的性能，同时降低了计算成本，相关方法已集成于R语言包ZVCV中。

ABSTRACT

Zero-variance control variates (ZV-CV) are a post-processing method to reduce the variance of Monte Carlo estimators of expectations using the derivatives of the log target. Once the derivatives are available, the only additional computational effort lies in solving a linear regression problem. Significant variance reductions have been achieved with this method in low dimensional examples, but the number of covariates in the regression rapidly increases with the dimension of the target. In this paper, we present compelling empirical evidence that the use of penalised regression techniques in the selection of high-dimensional control variates provides performance gains over the classical least squares method. Another type of regularisation based on using subsets of derivatives, or a priori regularisation as we refer to it in this paper, is also proposed to reduce computational and storage requirements. Several examples showing the utility and limitations of regularised ZV-CV for Bayesian inference are given. The methods proposed in this paper are accessible through the R package ZVCV.

研究动机与目标

• 为解决经典最小二乘法在高维零方差控制变量子（ZV-CV）中因协变量数量迅速增长而导致的计算成本过高和性能下降问题。
• 通过使用导数子集或先验正则化，降低高维ZV-CV的计算与存储需求。
• 通过在ZV-CV的回归步骤中应用正则化技术，提升贝叶斯推断中的方差缩减性能。
• 通过R语言包ZVCV提供一种实用且易于访问的实现方式，供计算统计学与机器学习领域的研究人员使用。

提出的方法

• 采用惩罚回归技术（如岭回归或套索回归）在高维ZV-CV中选择相关导数，以减少过拟合并提高稳定性。
• 通过预先选择可用导数的子集实现先验正则化，从而减少协变量数量并降低计算复杂度。
• 在标准ZV-CV框架基础上进行改进，即利用目标对数密度的导数构建控制变量子，但通过引入正则化以适应高维设置。
• 通过求解线性回归问题来估计控制变量子系数，其中正则化应用于由导数信息构成的设计矩阵。
• 采用两阶段方法：首先计算目标对数密度的导数；其次应用正则化回归以构建有效的控制变量子。
• 通过R语言包ZVCV实现该方法，提升可复现性，并可无缝集成至现有的贝叶斯推断工作流中。

实验结果

研究问题

• RQ1 与经典最小二乘法相比，惩罚回归技术是否能显著提升高维ZV-CV的性能？
• RQ2 通过仅使用导数子集（即先验正则化）对ZV-CV的方差缩减效果和计算效率有何影响？
• RQ3 在高维ZV-CV中应用正则化时，方差缩减与计算成本之间的权衡如何？
• RQ4 在何种场景下，正则化ZV-CV相较于标准ZV-CV在贝叶斯推断应用中表现更优？

主要发现

• 与经典最小二乘法相比，惩罚回归技术在高维ZV-CV中显著提升了方差缩减性能，尤其在协变量数量庞大的情况下。
• 通过仅选择导数子集实现的先验正则化，显著降低了计算与存储需求，同时对方差缩减效果影响甚微。
• 所提出的方法在多个高维示例中实现了显著的方差缩减，证明了其在贝叶斯推断中的实际应用价值。
• R语言包ZVCV提供了用户友好的实现方式，使研究人员能够将其应用于自身的蒙特卡洛估计问题。
• 实证结果表明，正则化可有效缓解高维回归中的过拟合问题，从而获得更稳健和稳定的控制变量子估计。
• 即使导数数量超过样本数量（高维设置中的常见挑战），该方法仍能保持优异性能。