[论文解读] Neural Density Estimation and Likelihood-free Inference

George Papamakarios|arXiv (Cornell University)|Oct 29, 2019

Gaussian Processes and Bayesian Inference参考文献 149被引用 8

一句话总结

本论文提出掩码自回归流（MAF）用于最先进神经密度估计，并提出两种新方法——顺序神经后验估计（SNPE-A）与顺序神经似然（SNL）——用于无似然推断。通过将无似然推断建模为使用归一化流的密度估计问题，该方法在推理速度上实现数量级提升，同时在高维设置下表现出更高的准确性和鲁棒性，优于传统ABC方法。

ABSTRACT

I consider two problems in machine learning and statistics: the problem of estimating the joint probability density of a collection of random variables, known as density estimation, and the problem of inferring model parameters when their likelihood is intractable, known as likelihood-free inference. The contribution of the thesis is a set of new methods for addressing these problems that are based on recent advances in neural networks and deep learning.

研究动机与目标

• 解决高维密度估计的挑战，传统方法如直方图和核密度估计在高维下扩展性差。
• 开发基于深度神经网络的可扩展、灵活的密度估计器，能够整合特定领域的不变性与结构。
• 克服近似贝叶斯计算（ABC）在无似然推断中的局限性，其面临高模拟成本和对距离阈值（ε）的依赖。
• 在无需可计算似然的情况下，通过在模拟数据上顺序训练神经密度模型，实现模拟器模型中后验与似然的精确估计。
• 通过用基于流的密度估计和顺序训练策略替代基于拒绝的ABC，提升模拟效率与推理速度。

提出的方法

• 提出掩码自回归流（MAF），一种基于双射、自回归神经网络的归一化流，通过可逆、可微变换将简单噪声转换为复杂数据分布。
• 使用归一化流通过堆叠多个带掩码的耦合层来建模高维随机变量的联合密度，以确保自回归结构。
• 提出顺序神经后验估计（类型A），通过在模拟数据上训练贝叶斯混合密度网络来估计模型参数的后验分布，并采用顺序参数提议。
• 开发顺序神经似然（SNL），直接使用归一化流估计似然函数，从而可通过标准推断技术实现高效后验计算。
• 采用顺序训练流程，每轮使用当前的后验或似然估计来指导新模拟参数的选择，提升样本效率。
• 应用诊断方法如两样本拟合优度检验，以验证所学习似然或后验的质量，增强模型可靠性。

实验结果

研究问题

• RQ1 归一化流能否有效用于建模复杂、高维的概率密度，且在可扩展性上优于传统密度估计器？
• RQ2 能否将无似然推断重新定义为使用神经网络的密度估计问题，从而实现比近似贝叶斯计算更快、更准确的推理？
• RQ3 基于流的后验估计（SNPE-A）在模拟效率和准确性方面与传统ABC方法相比如何？
• RQ4 在后验分布不 proper 的情况下，通过SNL实现的直接似然估计能否在鲁棒性和准确性上优于后验估计？
• RQ5 神经密度模型在高维参数与数据下能扩展到何种程度？架构中的归纳偏置如何提升此类设置下的泛化能力？

主要发现

• 掩码自回归流（MAF）在发表时实现了通用密度估计的最先进性能，展现出对高维数据的优越可扩展性。
• 顺序神经后验估计（SNPE-A）在推理速度上比拒绝ABC、MCMC-ABC和SMC-ABC快几个数量级，且无需距离阈值ε。
• 顺序神经似然（SNL）在准确性和鲁棒性上优于SNPE-A与SNPE-B，尤其得益于更低的似然估计方差。
• SNL支持使用统计诊断方法如两样本拟合优度检验来验证估计似然的质量，增强模型可信度。
• SNL在模拟效率上至少与参数选择的主动学习方法相当，且在实际运行时间上显著更快。
• 所提方法在高维设置下比ABC扩展性更好，尤其当结合编码领域特定不变性的神经架构（如循环或可交换网络）时。