[论文解读] Why approximate Bayesian computational (ABC) methods cannot handle model choice problems

Christian P. Robert, Jean‐Michel Marin+1 more|arXiv (Cornell University)|Jan 26, 2011

Markov Chains and Monte Carlo Methods参考文献 49被引用 9

一句话总结

本文证明，近似贝叶斯计算（ABC）方法无法可靠地执行贝叶斯模型选择，因为ABC使用非充分的摘要统计量来近似贝叶斯因子，导致即使在无限计算下，后验概率仍不一致。关键结果是，当摘要统计量非充分时，基于ABC的模型选择无法收敛到真实的后验模型概率，因此ABC在一般设置下不适用于模型比较。

ABSTRACT

Approximate Bayesian computation (ABC), also known as likelihood-free methods, have become a favourite tool for the analysis of complex stochastic models, primarily in population genetics but also in financial analyses. We advocated in Grelaud et al. (2009) the use of ABC for Bayesian model choice in the specific case of Gibbs random fields (GRF), relying on a sufficiency property mainly enjoyed by GRFs to show that the approach was legitimate. Despite having previously suggested the use of ABC for model choice in a wider range of models in the DIY ABC software (Cornuet et al., 2008), we present theoretical evidence that the general use of ABC for model choice is fraught with danger in the sense that no amount of computation, however large, can guarantee a proper approximation of the posterior probabilities of the models under comparison.

研究动机与目标

• 研究在复杂随机模型中使用ABC进行贝叶斯模型选择的理论有效性。
• 识别即使在计算资源无限的情况下，基于ABC的模型选择为何可能从根本上存在缺陷。
• 证明当摘要统计量非充分时，ABC对贝叶斯因子的近似不会收敛到真实的后验模型概率。
• 提醒研究界避免在缺乏充分统计量的情况下依赖ABC进行模型比较。
• 强调在全似然不可计算但模型选择仍至关重要的场景下，ABC的局限性。

提出的方法

• 在两个模型在方差上不同的正态位置模型中，对ABC行为进行理论分析。
• 在共轭先验下推导精确的边缘似然和贝叶斯因子，以与ABC近似结果进行比较。
• 使用充分统计量（样本均值）和非充分统计量（样本方差）来对比ABC的表现。
• 证明即使在样本量增加时，ABC近似贝叶斯因子也未能收敛到真实贝叶斯因子，即使摘要统计量和容差水平完全相同。
• 通过模拟评估多个数据集上ABC估计后验奇偶比与真实后验奇偶比之间的差异比率。
• 将该框架应用于一个实际案例：使用摘要统计量在群体遗传学中进行ABC模型选择。

实验结果

研究问题

• RQ1 ABC能否在复杂模型中可靠地近似后验模型概率以用于模型选择？
• RQ2 在何种条件下，ABC在模型比较中无法收敛到真实的贝叶斯因子？
• RQ3 使用非充分摘要统计量如何影响基于ABC的模型选择的一致性？
• RQ4 当摘要统计量非充分时，是否有理论依据支持使用基于ABC的贝叶斯因子进行模型选择？
• RQ5 ABC的不一致性对群体遗传学中广泛使用的软件（如DIYABC和PopABC）有何影响？

主要发现

• 当摘要统计量非充分时，基于ABC的模型选择在本质上是不一致的，因为ABC近似贝叶斯因子不会收敛到真实的后验奇偶比。
• 即使在无限计算下，当使用非充分统计量时，ABC近似贝叶斯因子也无法恢复真实的模型后验概率。
• 在方差不同的正态模型中，随着样本量增加，ABC近似贝叶斯因子会收敛到1，无论真实模型为何，表明存在系统性失败。
• 即使在中等样本量（例如，n=15）下，真实与ABC近似贝叶斯因子之间的差异也极为显著且持久，如模拟结果所示。
• 即使使用充分统计量（样本均值），当模型比较依赖于摘要统计量未捕捉到的高阶矩时，仍无法解决不一致性问题。
• 本文结论认为，ABC在一般情况下并非有效的模型选择方法，尤其在摘要统计量非充分时，应警惕其在实践中被不加批判地使用。