[论文解读] To Sample or Not To Sample: Retrieving Exoplanetary Spectra with Variational Inference and Normalising Flows

Kai Hou Yip, Quentin Changeat+2 more|arXiv (Cornell University)|May 14, 2022

Reservoir Engineering and Simulation Methods被引用 5

一句话总结

该论文提出了一种基于归一化流的变分推断框架，用于加速系外行星大气反演，与基于采样的方法相比，将前向模型调用次数减少了高达75%，同时实现了高保真度的后验分布。该方法实现了快速、可微分的贝叶斯推断，并通过一种新型可微辐射传输模型 Diff-τ 实现了正式的模型选择，该模型在单次观测上进行训练，无需大规模预计算数据集。

ABSTRACT

Current endeavours in exoplanet characterisation rely on atmospheric retrieval to quantify crucial physical properties of remote exoplanets from observations. However, the scalability and efficiency of the technique are under strain with increasing spectroscopic resolution and forward model complexity. The situation becomes more acute with the recent launch of the James Webb Space Telescope and other upcoming missions. Recent advances in Machine Learning provide optimisation-based Variational Inference as an alternative approach to perform approximate Bayesian Posterior Inference. In this investigation we combined Normalising Flow-based neural network with our newly developed differentiable forward model, Diff-Tau, to perform Bayesian Inference in the context of atmospheric retrieval. Using examples from real and simulated spectroscopic data, we demonstrated the superiority of our proposed framework: 1) Training Our neural network only requires a single observation; 2) It produces high-fidelity posterior distributions similar to sampling-based retrieval and; 3) It requires 75% less forward model computation to converge. 4.) We performed, for the first time, Bayesian model selection on our trained neural network. Our proposed framework contribute towards the latest development of a neural-powered atmospheric retrieval. Its flexibility and speed hold the potential to complement sampling-based approaches in large and complex data sets in the future.

研究动机与目标

• 解决传统基于采样的高维、高分辨率系外行星光谱反演中计算瓶颈问题。
• 开发一种可扩展、高效的替代方法，用于系外行星反演中的贝叶斯后验推断，替代马尔可夫链蒙特卡洛（MCMC）和嵌套采样方法。
• 通过仅使用少量数据（包括单次观测训练）训练的归一化流，实现端到端可微分反演。
• 通过证据计算实现正式的贝叶斯模型比较，客观评估大气模型。
• 减少对大规模预计算查找表的依赖，同时保持精度和不确定性量化能力。

提出的方法

• 提出一种基于归一化流的变分推断框架，用于近似系外行星大气反演中的后验分布。
• 开发 Diff-τ，一种可微分辐射传输模型，支持通过前向模型进行反向传播，实现高效训练。
• 使用证据下界（ELBO）目标函数训练归一化流，最小化近似后验与真实后验之间的KL散度。
• 仅使用单次观测训练神经网络，消除了对大规模预计算训练数据集的需求。
• 通过ELBO和可微分似然函数，直接计算贝叶斯证据和贝叶斯因子，实现正式的模型比较。
• 通过将观测噪声直接整合到似然函数中，实现不确定性传播。

实验结果

研究问题

• RQ1 在单次观测上训练的归一化流能否在系外行星反演中实现与基于采样的方法相当的后验近似？
• RQ2 像 Diff-τ 这样的可微分前向模型在多大程度上能减少收敛所需的前向模型调用次数？
• RQ3 基于归一化流的变分推断能否在大气反演中实现正式的贝叶斯模型选择？
• RQ4 与传统的 MCMC 和嵌套采样方法相比，该框架在准确性和效率方面表现如何？
• RQ5 该框架能否作为计算昂贵的基于采样的反演之前的快速、信息丰富的先验或筛选工具？

主要发现

• 与基于采样的方法相比，该框架将前向模型调用次数减少了高达75%，同时保持了高保真度的后验分布。
• 该方法在真实和模拟光谱数据上，与传统基于采样的反演结果在后验近似方面高度一致。
• 神经网络的训练仅需单次观测，无需大规模预计算训练集。
• 该框架通过直接从ELBO计算贝叶斯证据和贝叶斯因子，实现了正式的贝叶斯模型选择。
• 网络生成的不确定性区间与传统反演方法结果一致，验证了其可靠性。
• 可微分辐射传输模型 Diff-τ 支持端到端反向传播，实现了高效训练，并可与变分推断无缝集成。