[论文解读] Solving high-dimensional parameter inference: marginal posterior densities & Moment Networks

N Jeffrey, B. D. Wandelt|arXiv (Cornell University)|Dec 6, 2020

Galaxies: Formation, Evolution, Phenomena参考文献 28被引用 18

一句话总结

本文提出了一种新颖的高维参数推断方法，通过直接使用边际流（marginal flows）和矩网络（Moment Networks）估计低维边际后验密度，实现对引力波分析和宇宙学场推断等高维问题的快速、精确的不确定性量化。该方法避免了完整后验估计，仅用远少于传统方法的样本数，即可达到与MCMC基准相当的结果。

ABSTRACT

High-dimensional probability density estimation for inference suffers from the "curse of dimensionality". For many physical inference problems, the full posterior distribution is unwieldy and seldom used in practice. Instead, we propose direct estimation of lower-dimensional marginal distributions, bypassing high-dimensional density estimation or high-dimensional Markov chain Monte Carlo (MCMC) sampling. By evaluating the two-dimensional marginal posteriors we can unveil the full-dimensional parameter covariance structure. We additionally propose constructing a simple hierarchy of fast neural regression models, called Moment Networks, that compute increasing moments of any desired lower-dimensional marginal posterior density; these reproduce exact results from analytic posteriors and those obtained from Masked Autoregressive Flows. We demonstrate marginal posterior density estimation using high-dimensional LIGO-like gravitational wave time series and describe applications for problems of fundamental cosmology.

研究动机与目标

• 通过聚焦于低维边际后验而非完整联合密度，解决高维后验推断中的维度灾难问题。
• 开发一种可扩展、高效的替代方案，用于似然-free推断中高维MCMC采样和完整密度估计。
• 在复杂物理推断问题（如引力波参数估计和宇宙学场推断）中实现精确的不确定性量化。
• 提供一种直接估计后验矩（均值、方差、协方差）的框架，无需显式密度估计。
• 在高维合成模型和真实引力波数据上验证该方法，展示其准确性和高效性。

提出的方法

• 边际流使用归一化流（具体为MAF）直接估计二维边际后验密度 p(α, β|x)，通过在完整后验样本中提取的参数对进行训练。
• 训练数据由从先验中抽取的参数集构成，确保在不进行数据压缩的情况下准确估计边际后验。
• 矩网络是分层神经网络，通过目标函数 J0 和 J1 最小化后验矩（均值、方差、协方差）的 L2 损失进行训练。
• 在从先验中充分采样的假设下，该方法是精确的，且在多模态后验中不会出现模式崩溃。
• 通过直接从模拟数据中学习后验矩，避免了高维密度估计和MCMC采样。
• 该方法在高维合成模型和具有已知MCMC参考后验的LIGO类引力波时间序列上均进行了验证。

实验结果

研究问题

• RQ1 在高维推断问题中，是否可以在不进行完整后验密度估计的情况下准确估计边际后验密度？
• RQ2 在模拟数据上训练的神经网络能否以高精度和高速度直接估计后验矩（均值、方差、协方差）？
• RQ3 在高维参数空间中，边际流和矩网络的性能与MCMC相比如何？
• RQ4 该方法是否可应用于引力波参数估计等真实天体物理问题？
• RQ5 当应用于具有复杂高维场的宇宙学推断时，该方法是否仍保持鲁棒性和准确性？

主要发现

• 边际流方法成功以高保真度恢复了二维边际后验，仅使用 8×10^4 次模拟即达到 10^7 次MCMC采样的效果。
• 矩网络在每次评估中耗时不足 0.01 秒，即可实现对后验均值、方差和协方差的高精度估计，远快于MCMC和完整密度估计。
• 在 100 维合成模型中，边际流和矩网络的结果与MCMC基准一致，验证了方法的有效性。
• 在引力波推断中，训练好的矩网络准确预测了 128 个时间序列参数的边际后验标准差，与长MCMC链结果一致。
• 该方法实现了对高维宇宙学场（如BORG采样器中的场）的高效推断，其中完整后验采样在计算上不可行。
• 边际流与矩网络之间的交叉验证提供了一种稳健的模型可靠性诊断方法，可检测因训练数据不足或网络复杂度过高导致的不一致性。