[论文解读] Truncated proposals for scalable and hassle-free simulation-based inference

Michael Deistler, Pedro J. Gonçalves+1 more|arXiv (Cornell University)|Oct 10, 2022

Machine Learning and Algorithms被引用 24

一句话总结

TSNPE 在序列神经后验估计中引入截断提案，以实现稳定、可扩展且鲁棒的基于仿真的推断，具有效率的覆盖诊断，并在神经科学模型上取得成功应用。

ABSTRACT

Simulation-based inference (SBI) solves statistical inverse problems by repeatedly running a stochastic simulator and inferring posterior distributions from model-simulations. To improve simulation efficiency, several inference methods take a sequential approach and iteratively adapt the proposal distributions from which model simulations are generated. However, many of these sequential methods are difficult to use in practice, both because the resulting optimisation problems can be challenging and efficient diagnostic tools are lacking. To overcome these issues, we present Truncated Sequential Neural Posterior Estimation (TSNPE). TSNPE performs sequential inference with truncated proposals, sidestepping the optimisation issues of alternative approaches. In addition, TSNPE allows to efficiently perform coverage tests that can scale to complex models with many parameters. We demonstrate that TSNPE performs on par with previous methods on established benchmark tasks. We then apply TSNPE to two challenging problems from neuroscience and show that TSNPE can successfully obtain the posterior distributions, whereas previous methods fail. Overall, our results demonstrate that TSNPE is an efficient, accurate, and robust inference method that can scale to challenging scientific models.

研究动机与目标

• 动机并解决序列神经后验估计（SNPE）中的不稳定性和诊断局限性。
• 提出使用截断先验来稳定训练的 Truncated Sequential Neural Posterior Estimation (TSNPE)。
• 实现可扩展的后验推断，以及对高维模型进行快速、可靠的覆盖诊断。

提出的方法

• 在 SNPE 中使用截断先验作为提案，以将训练维持在后验的高概率区域内。
• 在每一轮通过从截断提案抽样来以极大似然法训练神经密度估计器。
• 定义并估计近似后验的高概率区域（HPR）以构建截断，epsilon 控制区域。
• 实现从截断提案采样的策略（拒绝采样和采样重要性重采样，SIR），设定固定预算。
• 引入基于仿真的覆盖率校准（SBCC），通过将经验覆盖率与名义水平进行比较来诊断后验覆盖。
• 允许对 TSNPE 后验进行解析评估和采样，以实现高效诊断。

实验结果

研究问题

• RQ1 截断提案是否能够在 SNPE 中提供稳定的极大似然训练，同时不将后验质量泄漏到先验界限之外？
• RQ2 TSNPE 是否在基准任务上与最先进的方法具有竞争力，并扩展到复杂的高维神经科学模型？
• RQ3 如何在每一轮高效地应用覆盖诊断（SBCC）来验证后验的可靠性？
• RQ4 从截断提案生成训练数据的实际采样方案及其权衡是什么？

主要发现

• TSNPE 在基准任务上达到或超过先前的 SNPE 方法，并且对在测试范围内 epsilon 的选取具有鲁棒性。
• TSNPE 坚固地推断后验，在具有挑战性的神经科学模型中表现优越，而 APT 因泄漏或计算不可行而失败。
• 截断提案方法使所有轮次都能进行极大似然训练，避免了 SNPE 的不稳定性。
• SBCC 提供了一种高效、可扩展的诊断工具，用于在每次迭代（包括高维问题）评估后验覆盖。
• 在幽环网络和多胞室神经元模型中，TSNPE 产生的后验预测样本与观测数据一致，在某些情况下不同于 APT。