[论文解读] Robust Bayesian Synthetic Likelihood via a Semi-Parametric Approach

Ziwen An, David J. Nott+1 more|arXiv (Cornell University)|Sep 16, 2018

Markov Chains and Monte Carlo Methods参考文献 34被引用 7

一句话总结

本文提出 semiBSL，一种半参数贝叶斯合成似然方法，用核密度估计替代标准 BSL 中的正态性假设来处理边缘分布，并使用高斯拷贝用于依赖结构建模，显著提升了对非正态汇总统计量的稳健性，且不增加模拟成本或需要调参。该方法在保持计算效率的同时，相较于 BSL 和 EES 在非正态似然的挑战性案例中提供了更精确的后验近似。

ABSTRACT

Bayesian synthetic likelihood (BSL) is now a well established method for performing approximate Bayesian parameter estimation for simulation-based models that do not possess a tractable likelihood function. BSL approximates an intractable likelihood function of a carefully chosen summary statistic at a parameter value with a multivariate normal distribution. The mean and covariance matrix of this normal distribution are estimated from independent simulations of the model. Due to the parametric assumption implicit in BSL, it can be preferred to its non-parametric competitor, approximate Bayesian computation, in certain applications where a high-dimensional summary statistic is of interest. However, despite several successful applications of BSL, its widespread use in scientific fields may be hindered by the strong normality assumption. In this paper, we develop a semi-parametric approach to relax this assumption to an extent and maintain the computational advantages of BSL without any additional tuning. We test our new method, semiBSL, on several challenging examples involving simulated and real data and demonstrate that semiBSL can be significantly more robust than BSL and another approach in the literature.

研究动机与目标

• 为解决贝叶斯合成似然（BSL）中强正态性假设的问题，尽管其具有计算优势，但在实际应用中限制了其稳健性。
• 开发一种方法，在保持 BSL 的高效性和低调参特性的同时，增强对非正态汇总统计量的稳健性。
• 提供一种实用且可扩展的 BSL 替代方案，避免额外的调参或增加模拟负担。
• 通过实证评估标准 BSL 的稳健性，并将 semiBSL 与 EES 和 ABC 等现有改进方法进行比较。
• 探索 semiBSL 在汇总统计量之间存在强非线性依赖结构情况下的性能极限。

提出的方法

• 该方法在观测统计量取值处使用核密度估计（KDE）对汇总统计量的边缘分布进行建模，避免完整的密度估计。
• 通过高斯拷贝将这些边缘 KDE 组合起来，以建模汇总统计量之间的依赖结构。
• 由此产生的半参数似然被用于贝叶斯框架中，通过 MCMC 抽样进行后验推断。
• 该方法使用与标准 BSL 相同数量的模型模拟，无需额外调参。
• 探索了相关系数矩阵的收缩估计器，以提高高维设置下的计算效率。
• 默认情况下以无限制的相关系数矩阵实现该方法，但亦考虑了结构化相关系数估计的扩展。

实验结果

研究问题

• RQ1 在汇总统计量分布非正态的情况下，标准 BSL 与 semiBSL 的稳健性如何比较？
• RQ2 结合 KDE 和高斯拷贝的半参数方法是否能在保持 BSL 计算效率的同时提升稳健性？
• RQ3 与 BSL 或 EES 相比，semiBSL 是否需要更多的模拟次数或额外调参？
• RQ4 在汇总统计量之间存在强非线性依赖关系的情况下，semiBSL 的表现如何？
• RQ5 所提出的方法能否有效集成到现有的 MCMC 或变分贝叶斯框架中，以实现可扩展的推断？

主要发现

• 在非正态汇总统计量的案例中，semiBSL 提供的后验近似显著优于标准 BSL 和 EES，尤其当真实分布偏离正态性时。
• 该方法在不增加所需模拟次数的前提下实现了更高的稳健性，保持了 BSL 的计算效率。
• semiBSL 对模拟次数 n 的敏感度相对较低，尽管高于 BSL，这是由于 KDE 依赖于样本大小所致。
• 在所有测试案例中，semiBSL 的后验近似优于 EES，且所需调参更少、精度更高。
• 在存在强非线性依赖结构（如 boom and bust 案例）的情况下，semiBSL 表现较差，表明其在复杂依赖结构下存在局限性。
• 使用相关系数矩阵的收缩估计器（如 Warton 方法）在高维场景（如 M/G/1 队列模型）中可带来显著的计算增益。