[论文解读] Robust and Efficient Approximate Bayesian Computation: A Minimum Distance Approach

David T. Frazier|arXiv (Cornell University)|Jun 25, 2020

Markov Chains and Monte Carlo Methods参考文献 18被引用 8

一句话总结

该论文提出最小距离近似贝叶斯计算（MD-ABC），一种无需使用摘要统计量的似然-free贝叶斯方法，通过基于范数的差异度量比较经验概率测度。当使用霍尔丁格距离时，MD-ABC 实现了与精确贝叶斯推断相当的渐近效率，并在局部模型误设下表现出最优鲁棒性，优于精确贝叶斯方法和其他 ABC 方法在模型偏离情况下的表现。

ABSTRACT

In many instances, the application of approximate Bayesian methods is hampered by two practical features: 1) the requirement to project the data down to low-dimensional summary, including the choice of this projection, which ultimately yields inefficient inference; 2) a possible lack of robustness to deviations from the underlying model structure. Motivated by these efficiency and robustness concerns, we construct a new Bayesian method that can deliver efficient estimators when the underlying model is well-specified, and which is simultaneously robust to certain forms of model misspecification. This new approach bypasses the calculation of summaries by considering a norm between empirical and simulated probability measures. For specific choices of the norm, we demonstrate that this approach can deliver point estimators that are as efficient as those obtained using exact Bayesian inference, while also simultaneously displaying robustness to deviations from the underlying model assumptions.

研究动机与目标

• 解决标准近似贝叶斯计算（ABC）方法因摘要统计量选择和模型误设导致的效率低下与鲁棒性不足问题。
• 开发一种在模型正确设定下保持高效率，同时对假设模型的局部偏离仍具鲁棒性的贝叶斯推断方法。
• 通过使用经验概率测度实现全数据利用，消除对人工选择摘要统计量的需求。
• 将最小距离估计的鲁棒性与效率特性扩展至似然不可计算情况下的贝叶斯框架。
• 为在模型不确定性下提供一种既高效又可靠的精确贝叶斯推断实用替代方案。

提出的方法

• 提出 MD-ABC，一种新颖的 ABC 方法，通过比较观测数据与模拟数据的经验概率测度，而非依赖摘要统计量。
• 使用经验分布之间的基于范数的差异度量定义 ABC 接受准则，特别关注霍尔丁格距离与克雷默-冯·米塞斯（Cramér-von Mises, CvM）距离。
• 将 MD-ABC 后验定义为先验与差异度量核密度的乘积，从而可通过 SMC 算法实现后验抽样。
• 在正则性条件下，证明了 MD-ABC 估计量的渐近正态性与渐近效率，尤其在使用霍尔丁格距离时表现显著。
• 采用局部模型误设框架，证明在特定偏离下，MD-ABC 是所有 ABC 估计量中偏差与均方误差最小的，展现出最优鲁棒性。
• 在模拟研究中采用序列蒙特卡洛（SMC）进行后验近似，并使用 NUTS 算法对精确贝叶斯方法进行基准对比。

实验结果

研究问题

• RQ1 一种无需摘要统计量的似然-free贝叶斯方法能否实现与精确贝叶斯推断相当的渐近效率？
• RQ2 基于经验分布之间差异度量的范数方法是否相比标准 ABC 方法在模型误设下具有更强鲁棒性？
• RQ3 在局部模型偏离下，MD-ABC 相较于精确贝叶斯推断及其他 ABC 方法（如 Wasserstein ABC）的表现如何？
• RQ4 最小距离原理能否扩展至似然不可计算模型的贝叶斯推断框架？
• RQ5 使用不同范数（如霍尔丁格或 CvM）对 ABC 推断的效率与鲁棒性有何影响？

主要发现

• 使用霍尔丁格距离的 MD-ABC 所产生的点估计量具有渐近效率，其在模型正确设定下的表现与精确贝叶斯推断完全一致。
• 在局部模型误设下，MD-ABC 是所有 ABC 估计量中偏差与均方误差最小的，展现出最优鲁棒性。
• 在跳跃强度为 5% 的随机波动率模型中，精确贝叶斯推断表现出严重偏差且后验标准差不稳定，而 MD-ABC 保持稳定且准确。
• 即使真实数据生成过程偏离假设模型，MD-ABC 的后验均值与标准差也几乎不受跳跃成分影响。
• 基于 CvM 距离的 MD-ABC 仅使用 m = n 组模拟样本，而基于霍尔丁格距离的 MD-ABC 使用 m = 10n 组以提升精度，表明其在模拟预算增加时具有良好的可扩展性。
• 在模型误设下，MD-ABC 在估计器稳定性与准确性方面优于 Wasserstein ABC 与精确贝叶斯方法，尤其在 SV 模型中的参数 π 与 β 上表现更优。