[论文解读] On the Asymptotic Efficiency of Approximate Bayesian Computation Estimators

Wentao Li, Paul Fearnhead|arXiv (Cornell University)|Jun 10, 2015

Markov Chains and Monte Carlo Methods参考文献 47被引用 8

一句话总结

本文在大样本条件下建立了近似贝叶斯计算（ABC）后验均值的渐近正态性，表明当摘要统计量的维度等于参数向量维度时，其渐近方差最小。此外，本文进一步证明更高维度的摘要统计量可通过线性变换降低至维度 p 而不增加方差，并给出了重要性抽样在 ABC 中达到与基于摘要统计量的最大似然估计器相同渐近方差的条件。

ABSTRACT

Many statistical applications involve models for which it is difficult to evaluate the likelihood, but from which it is relatively easy to sample. Approximate Bayesian computation is a likelihood-free method for implementing Bayesian inference in such cases. We present results on the asymptotic variance of estimators obtained using approximate Bayesian computation in a large-data limit. Our key assumption is that the data are summarized by a fixed-dimensional summary statistic that obeys a central limit theorem. We prove asymptotic normality of the mean of the approximate Bayesian computation posterior. This result also shows that, in terms of asymptotic variance, we should use a summary statistic that is the same dimension as the parameter vector, p; and that any summary statistic of higher dimension can be reduced, through a linear transformation, to dimension p in a way that can only reduce the asymptotic variance of the posterior mean. We look at how the Monte Carlo error of an importance sampling algorithm that samples from the approximate Bayesian computation posterior affects the accuracy of estimators. We give conditions on the importance sampling proposal distribution such that the variance of the estimator will be the same order as that of the maximum likelihood estimator based on the summary statistics used. This suggests an iterative importance sampling algorithm, which we evaluate empirically on a stochastic volatility model.

研究动机与目标

• 在大样本极限下，建立 ABC 后验均值的渐近分布。
• 确定最小化 ABC 中渐近方差的摘要统计量最优维度。
• 分析重要性抽样带来的蒙特卡洛误差对 ABC 估计量精度的影响。
• 推导重要性抽样在 ABC 中达到与基于摘要统计量的最大似然估计器相同渐近方差的条件。
• 提出一种迭代重要性抽样算法，以提升 ABC 推断的效率。

提出的方法

• 作者假设摘要统计量满足中心极限定理，推导了 ABC 后验均值的渐近分布。
• 证明当摘要统计量维度等于参数个数 p 时，后验均值的渐近方差最小。
• 本文表明，任何维度高于 p 的摘要统计量均可通过线性变换降至维度 p 而不增加渐近方差。
• 分析了重要性抽样 ABC 中的蒙特卡洛误差，并推导了保证估计量渐近方差与基于摘要统计量的 MLE 相同的提议分布条件。
• 提出了一种迭代重要性抽样算法，并在随机波动率模型上进行了实验评估。
• 理论结果通过一系列引理及涉及核密度近似、变量变换和集中不等式的渐近论证得到支持。

实验结果

研究问题

• RQ1 在大样本条件下，ABC 后验均值的渐近分布是什么？
• RQ2 摘要统计量的维度如何影响 ABC 估计量的渐近方差？
• RQ3 是否可以将更高维度的摘要统计量线性降低至维度 p 而不损失效率？
• RQ4 在何种条件下，ABC 中的重要性抽样能达到与基于摘要统计量的最大似然估计器相同的渐近方差？
• RQ5 能否设计一种迭代重要性抽样算法，使其在 ABC 中的效率与 MLE 相当？

主要发现

• 在大样本条件下，ABC 后验的后验均值渐近服从正态分布。
• 当摘要统计量维度等于参数向量维度 p 时，ABC 后验均值的渐近方差最小。
• 任何维度高于 p 的摘要统计量均可通过线性变换降至维度 p 而不增加渐近方差。
• 若重要性抽样提议分布满足某些正则性条件，则 ABC 估计量的渐近方差与基于摘要统计量的 MLE 相同。
• 本文提出的迭代重要性抽样算法在随机波动率模型实例中实现了与 MLE 相当的方差性能。
• 理论结果通过一系列涉及核密度近似、变量变换和集中不等式的渐近论证得到支持。