[论文解读] New Insights Into Approximate Bayesian Computation

Gérard Biau, Frédéric Cérou+1 more|arXiv (Cornell University)|Jul 27, 2012

Markov Chains and Monte Carlo Methods参考文献 8被引用 9

一句话总结

本文通过将近似贝叶斯计算（ABC）的条件密度估计器视为k-最近邻与核方法的混合体，对其进行了严格的非参数分析。在较弱的正则性条件下，建立了ABC密度估计几乎必然收敛到真实后验的结论，为在复杂模型中使用ABC进行似然不可用的推断提供了理论依据。

ABSTRACT

Approximate Bayesian Computation (ABC for short) is a family of computational techniques which offer an almost automated solution in situations where evaluation of the posterior likelihood is computationally prohibitive, or whenever suitable likelihoods are not available. In the present paper, we analyze the procedure from the point of view of k-nearest neighbor theory and explore the statistical properties of its outputs. We discuss in particular some asymptotic features of the genuine conditional density estimate associated with ABC, which is an interesting hybrid between a k-nearest neighbor and a kernel method.

研究动机与目标

• 为在似然函数难以计算或不可用的情况下，提供近似贝叶斯计算（ABC）的非参数理论基础。
• 利用k-最近邻与核理论分析ABC条件密度估计器的统计性质。
• 在较弱的正则性假设下，建立ABC密度估计几乎必然收敛到真实后验密度的结论。
• 通过将其与成熟的非参数估计技术相联系，阐明ABC过程的渐近行为。

提出的方法

• 将ABC过程解释为一种结合k-最近邻与核平滑原理的非参数条件密度估计器。
• 作者利用k-最近邻理论，分析当容忍度ε和模拟次数N增大时，ABC密度估计的渐近行为。
• 关键步骤是构建一种依赖于模拟与观测摘要统计量之间距离的混合估计器。
• 理论分析依赖于最大函数不等式和逼近理论，特别是涉及Hardy–Littlewood最大函数和Orlicz范数收敛。
• 证明策略包括使用具有紧台集的连续函数逼近真实密度，并通过Orlicz空间的可积性控制误差。
• 收敛结果在L1范数下建立，并通过最大函数界和Borel–Cantelli引理推广至几乎必然收敛。

实验结果

研究问题

• RQ1 当容忍度ε趋近于零且模拟次数N增加时，ABC条件密度估计器的渐近行为如何？
• RQ2 ABC与k-最近邻或核密度估计方法之间存在何种理论关系？
• RQ3 在何种正则性条件下，ABC密度估计几乎必然收敛到真实后验密度？
• RQ4 ABC过程能否在现代数学统计框架下被严格证明为一种非参数估计器？

主要发现

• 在较弱的正则性条件下，当容忍度ε趋于零且模拟次数N趋于无穷大时，ABC密度估计几乎必然收敛到真实后验密度。
• ABC估计器被证明是k-最近邻与核方法的混合体，其收敛行为由k-最近邻距离与核平滑的相互作用所决定。
• 收敛性在L1范数下建立，并通过最大函数不等式和具有紧台集的连续函数逼近推广至几乎必然收敛。
• 证明依赖于Hardy–Littlewood最大函数在Orlicz空间中的有界性，从而确保条件密度估计中误差的控制。
• 理论框架证实，即使似然函数难以计算或未知，ABC仍是一种有效的非参数方法，适用于似然自由推断。