[论文解读] Sequential Neural Methods for Likelihood-free Inference

Conor Durkan, George Papamakarios+1 more|arXiv (Cornell University)|Nov 21, 2018

Machine Learning and Algorithms参考文献 18被引用 6

一句话总结

本文对三种用于似然-free推断的序列神经方法进行了受控比较：序列神经后验估计（SNPE）、序列神经似然（SNL）和主动序列神经似然（ASNL）。在使用相同混合密度网络架构和随机变分推断的前提下，研究发现：学习代理似然（SNL）比直接学习后验分布（SNPE-B）更高效且更准确；基于贝叶斯不确定性的主动学习（ASNL）相较于SNL的启发式采样并未带来实质性改进。

ABSTRACT

Likelihood-free inference refers to inference when a likelihood function cannot be explicitly evaluated, which is often the case for models based on simulators. Most of the literature is based on sample-based `Approximate Bayesian Computation' methods, but recent work suggests that approaches based on deep neural conditional density estimators can obtain state-of-the-art results with fewer simulations. The neural approaches vary in how they choose which simulations to run and what they learn: an approximate posterior or a surrogate likelihood. This work provides some direct controlled comparisons between these choices.

研究动机与目标

• 在相同实验条件下，直接比较SNPE、SNL和ASNL在似然-free推断中的性能表现。
• 评估基于不确定性的主动学习是否相比SNL中的启发式采样能提升推断效率。
• 探究直接学习代理似然是否比直接学习后验分布更有效。
• 评估贝叶斯模型不确定性对神经似然-free推断中主动学习的影响。

提出的方法

• 所有方法均使用相同的混合密度网络（MDN）架构进行密度估计。
• 采用随机变分推断（SVI）训练神经密度估计器，实现对模型参数的贝叶斯推断，以防止过拟合。
• SNPE通过在模拟器生成的 $ (\bm{\theta}, \mathbf{x}) $ 对上进行训练，学习近似后验 $ q_{\bm{\phi}}(\bm{\theta}|\mathbf{x}_0) $。
• SNL通过MCMC从当前后验中采样参数，学习代理似然 $ q_{\bm{\phi}}(\mathbf{x}_0|\bm{\theta}) \approx p(\mathbf{x}_0|\bm{\theta}) $。
• ASNL在SNL基础上引入基于最大方差（MaxVar）采集函数的主动学习组件，该函数选择使似然估计方差最大的 $ \bm{\theta} $。
• 采集函数通过 $ \mathbb{V}_{\bm{\phi}}[q_{\bm{\phi}}(\mathbf{x}_0|\bm{\theta})] $ 的蒙特卡洛估计计算，采用数值稳定的对数方差近似。

实验结果

研究问题

• RQ1 在准确性和效率方面，学习代理似然（SNL）是否优于直接学习后验分布（SNPE-B）？
• RQ2 与SNL中的启发式采样相比，基于贝叶斯模型不确定性的主动学习是否能提升推断性能？
• RQ3 SNL和ASNL生成的模拟器参数分布在探索范围和对真实参数的集中程度方面有何差异？
• RQ4 SNL的性能提升是源于似然建模方式的选择，还是可归因于网络架构或训练差异？

主要发现

• 在高斯分布和洛特卡-沃尔泰拉任务中，学习代理似然（SNL）在真实参数上的对数概率均高于SNPE-B。
• SNL在运行时间方面优于SNPE-B，在高斯任务中仅需7.48小时完成 $ 10^4 $ 次模拟，而ASNL耗时91.73小时。
• 尽管ASNL采用了基于不确定性的主动学习，但其性能并未显著优于SNL，且在先验空间中表现出更广泛的探索行为。
• SNL生成的模拟器参数集中于真实参数附近，而ASNL则探索先验边界附近的区域，表明其采样策略不够聚焦。
• 通过 $ \log \mathbb{V}[e^a] $ 的对数尺度近似，确保了采集函数中方差估计的数值稳定性，从而实现了可靠的不确定性量化。
• 结果表明，即使在使用相同神经架构和训练流程的前提下，直接建模似然也比建模后验更高效。