[论文解读] Neural Empirical Bayes: Source Distribution Estimation and its Applications to Simulation-Based Inference

Maxime Vandegar, M. Kagan+2 more|arXiv (Cornell University)|Nov 11, 2020

Model Reduction and Neural Networks参考文献 43被引用 10

一句话总结

该论文提出神经经验贝叶斯（NEB），一种在似然函数不可计算的推断场景下，利用神经密度估计器从噪声污染的观测中学习源分布的方法。通过使用蒙特卡洛积分最大化对数边际似然，NEB 成功恢复了真实源分布，并实现了精确的后验推断，该方法在合成数据和对撞机物理基准测试中均得到验证。

ABSTRACT

We revisit empirical Bayes in the absence of a tractable likelihood function, as is typical in scientific domains relying on computer simulations. We investigate how the empirical Bayesian can make use of neural density estimators first to use all noise-corrupted observations to estimate a prior or source distribution over uncorrupted samples, and then to perform single-observation posterior inference using the fitted source distribution. We propose an approach based on the direct maximization of the log-marginal likelihood of the observations, examining both biased and de-biased estimators, and comparing to variational approaches. We find that, up to symmetries, a neural empirical Bayes approach recovers ground truth source distributions. With the learned source distribution in hand, we show the applicability to likelihood-free inference and examine the quality of the resulting posterior estimates. Finally, we demonstrate the applicability of Neural Empirical Bayes on an inverse problem from collider physics.

研究动机与目标

• 解决在似然函数不可计算且仅有固定模拟源-观测对数据集可用的科学领域中，估计未知源分布的挑战。
• 开发一种可扩展的非序列化方法，用于源分布估计，避免重复调用模拟器，适用于计算成本高昂的模拟。
• 通过从预模拟数据中学习忠实的源分布和似然模型，实现下游的似然函数不可计算后验推断。
• 评估对数边际似然的有偏和去偏估计器在恢复真实源分布方面的有效性。
• 在涉及喷注特性的对撞机物理真实世界逆问题中展示该方法的适用性。

提出的方法

• 使用神经密度估计器从预先生成的 $ ({\mathbf{x}}_j, {\mathbf{y}}_j) $ 对数据集中建模似然 $ p({\mathbf{y}}|{\mathbf{x}}) $。
• 源分布 $ q_\theta({\mathbf{x}}) $ 通过具有耦合层的归一化流参数化，并通过梯度优化对数边际似然 $ \log q_\theta({\mathbf{Y}}) = \sum_{i=1}^N \log \int p({\mathbf{y}}_i|{\mathbf{x}}) q_\theta({\mathbf{x}}) d{\mathbf{x}} $ 进行训练。
• 使用 $ M $ 个样本的蒙特卡洛积分近似不可计算的积分，使用 Adam 优化器以 $ 10^{-4} $ 的初始学习率进行优化。
• 比较三种估计器：有偏估计器 $ \mathcal{L}_{1024}^\text{IW} $、去偏估计器和基于变分 ELBO 的估计器。
• 通过归一化流架构的归纳偏置提升在病态逆问题中的泛化能力和稳定性。
• 在学习源分布和似然分布后，通过 MCMC 或其他采样方法对新观测执行后验推断。

实验结果

研究问题

• RQ1 在仅有固定模拟对数据集的似然函数不可计算设置下，神经密度估计器能否有效恢复真实源分布？
• RQ2 对数边际似然的有偏和去偏估计器在源分布恢复精度方面如何比较？
• RQ3 在高维、病态的逆问题中，架构归纳偏置在多大程度上提升了性能？
• RQ4 学习到的源分布能否在无模拟器访问的情况下，实现对新观测的校准良好后验推断？
• RQ5 NEB 在涉及喷注特性的真实对撞机物理逆问题中表现如何？

主要发现

• NEB 在对称性范围内成功恢复了真实源分布，如在玩具问题中 $ \mathcal{L}_{1024}^\text{IW} $ 估计器在 $ \mathbf{x} $-空间的 AUC 为 $ 0.99_{\pm 0.02} $ 所证实。
• $ \mathcal{L}_{1024}^\text{IW} $ 估计器在三种估计器中表现最佳，其在 $ \mathbf{x} $-空间的 AUC 达到 $ 0.57_{\pm 0.05} $，表明源分布恢复能力极强。
• 在对撞机物理数据集上，学习到的源分布与真实模拟分布高度一致，$ \mathbf{x} $-空间的 AUC 为 $ 0.99_{\pm 0.02} $。
• 通过 NEB 学习到的后验分布是校准良好的，表现为生成的源数据中落入预测分位数的比例符合预期，表明不确定性量化可靠。
• 该方法在无需顺序调用模拟器的情况下实现了高性能，适用于计算成本高昂的模拟。
• 通过归一化流架构引入的归纳偏置显著提升了源估计中的泛化能力和稳定性。