[论文解读] Optimizing Threshold - Schedules for Approximate Bayesian Computation Sequential Monte Carlo Samplers: Applications to Molecular Systems

Daniel Silk, Saran Filippi+1 more|arXiv (Cornell University)|Oct 11, 2012

Markov Chains and Monte Carlo Methods参考文献 27被引用 7

一句话总结

本文提出了一种基于无迹变换的自适应方法，用于优化近似贝叶斯计算序蒙特卡洛（ABC SMC）采样器中的阈值调度，提升了计算效率并避免陷入局部最优。通过预测阈值-接受率曲线，该方法在后验近似精度上优于固定分位数调度，且在所有测试案例中均无失败，计算成本的变异性更低。

ABSTRACT

The likelihood-free sequential Approximate Bayesian Computation (ABC) algorithms, are increasingly popular inference tools for complex biological models. Such algorithms proceed by constructing a succession of probability distributions over the parameter space conditional upon the simulated data lying in an $ε$--ball around the observed data, for decreasing values of the threshold $ε$. While in theory, the distributions (starting from a suitably defined prior) will converge towards the unknown posterior as $ε$ tends to zero, the exact sequence of thresholds can impact upon the computational efficiency and success of a particular application. In particular, we show here that the current preferred method of choosing thresholds as a pre-determined quantile of the distances between simulated and observed data from the previous population, can lead to the inferred posterior distribution being very different to the true posterior. Threshold selection thus remains an important challenge. Here we propose an automated and adaptive method that allows us to balance the need to minimise the threshold with computational efficiency. Moreover, our method which centres around predicting the threshold - acceptance rate curve using the unscented transform, enables us to avoid local minima - a problem that has plagued previous threshold schemes.

研究动机与目标

• 为解决ABC SMC采样器中阈值选择次优的问题，该问题可能导致后验分布偏差和计算效率低下。
• 克服基于固定分位数的阈值调度方案的局限性，这些方案常陷入局部最优或面临接受率过低的问题。
• 开发一种自动化的自适应方法，平衡最小化阈值ε与计算效率。
• 实现在似然函数不可计算且传统方法失效的复杂生物模型中的稳健推断。

提出的方法

• 该方法使用无迹变换（UT）来预测不同ε值下阈值-接受率曲线的形状，从而实现更明智的阈值选择。
• 通过高斯混合模型对模拟数据与观测数据之间距离的分布进行建模，随后通过无迹变换将这些分布转换，以估计接受率。
• 最优阈值被选为在降低ε与保持高接受率之间实现权衡的点，从而避免过早收敛。
• 该方法采用贪心策略，仅按顺序选择下一个阈值，但通过预测建模避免了分位数方案中常见的局部极小值。
• 该方法被整合进ABC SMC框架中，动态地根据预测性能调整阈值，而非使用固定分位数。
• 该方法适用于具有高斯测量误差的确定性模型，并可通过适当的摘要统计量扩展至随机状态空间模型。

实验结果

研究问题

• RQ1 ABC SMC的性能如何随不同阈值调度方式变化，特别是固定分位数方法？
• RQ2 自适应阈值选择方法能否在ABC SMC中提升后验近似精度和计算效率？
• RQ3 无迹变换在多大程度上可预测阈值-接受率曲线，以指导最优阈值选择？
• RQ4 所提出的方法是否能避免固定分位数阈值方案中常见的局部最优？
• RQ5 在具有复杂后验形状的多种生物系统中，该方法在鲁棒性和计算成本方面表现如何？

主要发现

• 所提出的自适应方法在计算效率和成功率方面均优于所有固定分位数调度方案，且在重复推断中无任何失败。
• 对于霍普夫分岔系统，该方法在每个数据集的10次推断中均实现收敛，而0.9分位数调度在500个数据点时每次重复均失败。
• 该方法在不同数据集上的计算成本变异性最低，表明其在数据复杂性变化时仍具有一致性能。
• 使用高分位数（如0.9）的固定分位数调度常因将粒子群困在低后验概率区域（如区间(0,3)）而失败。
• 使用极低分位数（如0.01）的调度会导致接受率过低，使推断在计算上不可行。
• 该方法能够预测阈值-接受率曲线，从而有效避免局部最优，并选择在精度与效率之间取得良好平衡的阈值。