[论文解读] Probably approximate Bayesian computation: nonasymptotic convergence of ABC under misspecification

James Ridgway|arXiv (Cornell University)|Jul 19, 2017

Markov Chains and Monte Carlo Methods参考文献 28被引用 6

一句话总结

本文在模型误设条件下建立了近似贝叶斯计算（ABC）的非渐近oracle不等式，表明即使真实数据生成模型不在统计模型族中，ABC 依然保持鲁棒性。本文推导了 ABC 后验与真实后验之间距离的有限样本界，明确体现了参数维度和摘要统计量大小的影响，并提出了一种改进的顺序蒙特卡洛（SMC）算法，用于从 ABC 伪后验中进行抽样。

ABSTRACT

Approximate Bayesian computation (ABC) is a widely used inference method in Bayesian statistics to bypass the point-wise computation of the likelihood. In this paper we develop theoretical bounds for the distance between the statistics used in ABC. We show that some versions of ABC are inherently robust to misspecification. The bounds are given in the form of oracle inequalities for a finite sample size. The dependence on the dimension of the parameter space and the number of statistics is made explicit. The results are shown to be amenable to oracle inequalities in parameter space. We apply our theoretical results to given prior distributions and data generating processes, including a non-parametric regression model. In a second part of the paper, we propose a sequential Monte Carlo (SMC) to sample from the pseudo-posterior, improving upon the state of the art samplers.

研究动机与目标

• 在模型误设条件下，建立 ABC 的有限样本、非渐近收敛保证。
• 通过显式集中界量化 ABC 对模型误设的鲁棒性。
• 在摘要统计量空间和参数空间中，为 ABC 推导 oracle 不等式。
• 提出一种新颖的顺序蒙特卡洛（SMC）算法，以高效地从 ABC 伪后验中抽样。
• 通过理论界为窗口大小和摘要统计量选择提供实际指导。

提出的方法

• 利用指数集中不等式，推导 ABC 与真实后验分布之间期望距离的非渐近 oracle 不等式。
• 在 ABC 中使用指数核，以支持变分优化并提升理论可处理性。
• 应用摘要统计量之间距离的集中界，以在误设条件下控制偏差。
• 提出一种自适应 SMC-ABC 算法，包含顺序反温度调节和改进的 MCMC 核选择。
• 基于数据驱动校准，引入 ABC 窗口大小的经验与自适应边界。
• 建立 ABC 收敛性与广义后验理论之间的联系，尤其针对 $λ < 1$ 的情形。

实验结果

研究问题

• RQ1 当真实模型不在统计模型族中时，ABC 在后验集中方面的表现如何？
• RQ2 能否在模型误设条件下为 ABC 推导出非渐近、有限样本的界？
• RQ3 在误设设置下，ABC 的最优窗口大小 $h$ 是什么？它如何随样本量和维度变化？
• RQ4 如何改进顺序蒙特卡洛方法，以高效地从 ABC 伪后验中抽样？
• RQ5 能否从摘要统计量空间中的 oracle 不等式推导出参数空间中的 oracle 不等式？

主要发现

• 本文在误设条件下建立了 ABC 的非渐近 oracle 不等式，表明 ABC 与真实后验之间期望距离被一个依赖于模型复杂度和样本大小的项所限制。
• 界明确依赖于参数空间的维度和摘要统计量的数量，到 oracle 的距离收敛速度为 $O\left(\left(\frac{\log^2 n}{n}\right)^{\frac{\beta}{2\beta+1}}\right)$ 阶。
• ABC 被证明对模型误设具有内在鲁棒性，即使计算上可行，窗口参数 $h$ 也应缓慢减小。
• 所提出的 SMC-ABC 算法通过自适应反温度调度和更优的 MCMC 核选择，优于现有抽样器，显著提升了混合效率与收敛性。
• 推导出窗口大小的经验与自适应边界，使 $h$ 的选择可基于数据驱动，而无需依赖渐近启发式方法。
• 理论结果在非参数回归及其他模型上通过数值实验得到验证，表明在误设条件下性能保持一致。