[论文解读] Robust Bayesian Inference for Simulator-based Models via the MMD Posterior Bootstrap

Charita Dellaporta, Jeremias Knoblauch+2 more|arXiv (Cornell University)|Feb 9, 2022

Simulation Techniques and Applications被引用 4

一句话总结

本文提出了一种基于MMD后置自举的鲁棒贝叶斯推断方法，用于模拟器模型，通过将后置自举与最大均值差异（MMD）估计器相结合，实现了对模型误设的强鲁棒性。该方法实现了高度可并行化的推断，并具备频现一致性与泛化界等理论保证，在模型误设情形下优于标准ABC与GBI方法。

ABSTRACT

Simulator-based models are models for which the likelihood is intractable but simulation of synthetic data is possible. They are often used to describe complex real-world phenomena, and as such can often be misspecified in practice. Unfortunately, existing Bayesian approaches for simulators are known to perform poorly in those cases. In this paper, we propose a novel algorithm based on the posterior bootstrap and maximum mean discrepancy estimators. This leads to a highly-parallelisable Bayesian inference algorithm with strong robustness properties. This is demonstrated through an in-depth theoretical study which includes generalisation bounds and proofs of frequentist consistency and robustness of our posterior. The approach is then assessed on a range of examples including a g-and-k distribution and a toggle-switch model.

研究动机与目标

• 解决现有贝叶斯方法在模型误设下对模拟器模型表现不佳的问题。
• 开发一种鲁棒的推断框架，即使在假设模型错误时也能保持准确性。
• 通过利用后置自举与基于MMD的损失函数，实现可扩展、可并行化的推断。
• 为所提方法提供理论保证，包括频现一致性和泛化界。
• 通过在g-and-k与开关模型上的实证评估，展示该方法的鲁棒性。

提出的方法

• 提出一种新颖算法，结合后置自举与基于MMD的损失函数，以构建鲁棒的后验分布。
• 使用狄利克雷过程先验，并通过经验数据更新中心测度，以在数据生成分布上形成非参数后验。
• 通过截断的棒棒糖过程定义后验，以从精确的DP后验中抽样，确保非参数灵活性。
• 将观测数据与模拟数据分布之间的MMD用作鲁棒损失函数，以最小化差异。
• 通过有限数量分量的截断棒棒糖过程近似DP后验，由截断极限$T$控制。
• 使用可学习长度尺度$l$的高斯核优化MMD损失，实现敏感性分析与鲁棒性调节。

实验结果

研究问题

• RQ1 对于模拟器模型的贝叶斯推断方法，在模型误设时是否仍能保持一致性和鲁棒性？
• RQ2 所提出的MMD后置自举方法与标准ABC及广义贝叶斯推断相比，在覆盖率与鲁棒性方面表现如何？
• RQ3 超参数如$\alpha$、$T$以及核长度尺度$l$对推断性能有何影响？
• RQ4 在模型误设下，该方法是否能实现泛化界与频现一致性？
• RQ5 该方法对先验误设的敏感性如何，特别是在存在异常值时？

主要发现

• 即使在模型误设下，该方法仍能实现频现一致性与泛化界，为鲁棒推断提供了理论基础。
• MMD后置自举对先验误设表现出强鲁棒性，在$\alpha$与$\mathbb{F}$取不同值时性能稳定，尤其当$\alpha$较小时表现更优。
• 当$T \geq 10$时，该方法对截断极限$T$不敏感，表明DP近似具有稳定的收敛性。
• 高斯核中更小的长度尺度$l$能带来更好的优化性能，表现为在真实参数值附近MMD损失曲面更陡峭。
• 在g-and-k分布与开关模型上的实证结果表明，与ABC和GBI相比，该方法在模型误设下表现出更强的鲁棒性与更准确的参数估计。
• 后置自举方法支持高度可并行化的推断，使其适用于复杂模拟器的可扩展推断。