[论文解读] Sequential Neural Likelihood: Fast Likelihood-free Inference with Autoregressive Flows

George Papamakarios, David C. Sterratt+1 more|arXiv (Cornell University)|May 18, 2018

Model Reduction and Neural Networks被引用 139

一句话总结

SNL 训练一个条件自回归流来学习 p(x|θ)（似然）从模拟数据，并使用一个序列方案在后验概率高的区域集中仿真，降低成本并提高相对于先前的神经方法的准确性。

ABSTRACT

We present Sequential Neural Likelihood (SNL), a new method for Bayesian inference in simulator models, where the likelihood is intractable but simulating data from the model is possible. SNL trains an autoregressive flow on simulated data in order to learn a model of the likelihood in the region of high posterior density. A sequential training procedure guides simulations and reduces simulation cost by orders of magnitude. We show that SNL is more robust, more accurate and requires less tuning than related neural-based methods, and we discuss diagnostics for assessing calibration, convergence and goodness-of-fit.

研究动机与目标

• 为具有不可解似然的仿真模型动机化贝叶斯推断。
• 为给定参数的数据开发神经密度估计器以近似似然。
• 引入一个序列训练过程，在高后验密度区域集中仿真。
• 展示相较于现有方法的鲁棒性、校准性和降低的仿真成本。

提出的方法

• 使用条件 Masked Autoregressive Flow (MAF) 来建模 q_phi(x|θ)。
• 在从提议 tilde-p(θ) 和 p(x|θ) 派生的模拟对 (θ, x) 上进行训练。
• 在若干轮中更新提议以集中在当前后验估计附近，形成一个序列方案。
• 在累计数据上优化对数似然以拟合似然模型，而不对提议偏差进行校正。
• 使用 MCMC（Slice Sampling）从近似后验 p̂(θ|x_o) ∝ q_phi(x_o|θ) p(θ) 采样。
• 提供用于校准、收敛和拟合优度的诊断。

实验结果

研究问题

• RQ1 神经密度估计器是否能够在高后验密度区域准确建模难以处理的似然 p(x|θ)？
• RQ2 序列性地将仿真引导到高后验密度区域是否在保持或提高准确性的同时降低仿真成本？
• RQ3 在后验准确性、校准和计算效率方面，Sequential Neural Likelihood (SNL) 与 SNPE-A/B、SL、SMC-ABC 相比有何不同？
• RQ4 哪些诊断方法可用于评估神经密度模型的无似然推断的收敛性和拟合优度？

主要发现

• SNL 在所报告的实验中在准确性和仿真成本之间取得了比竞争的基于神经的方法更好的权衡。
• SNL 能得到良好校准的后验，而无需调整提议以匹配高斯假设。
• 序列训练方案将仿真集中在高后验密度区域，显著减少了总仿真量。
• 如仿真基础校准和后验数据拟合等诊断支持表明 SNL 的鲁棒性和收敛性。
• 在玩具和实值模型（如 M/G/1 队列、Lotka–Volterra、Hodgkin–Huxley）下，SNL 在效率和准确性方面均优于 NL、SNPE-A/B、SL、以及 SMC-ABC 等替代方法。