[论文解读] Parameters Estimation from the 21 cm signal using Variational Inference

Héctor J. Hortúa, Riccardo Volpi+1 more|arXiv (Cornell University)|May 4, 2020

Radio Astronomy Observations and Technology被引用 7

一句话总结

本文提出一种基于变分推断的贝叶斯神经网络（BNN），用于从21厘米信号中估计宇宙学与天体物理学参数，实现不确定性量化与相关性估计。结果表明，Flipout变分推断优于Dropout，在模拟的HERA类数据上实现R² > 0.92且置信区间紧凑，为未来21厘米巡天提供了可信的参数估计。

ABSTRACT

Upcoming experiments such as Hydrogen Epoch of Reionization Array (HERA) and Square Kilometre Array (SKA) are intended to measure the 21cm signal over a wide range of redshifts, representing an incredible opportunity in advancing our understanding about the nature of cosmic Reionization. At the same time these kind of experiments will present new challenges in processing the extensive amount of data generated, calling for the development of automated methods capable of precisely estimating physical parameters and their uncertainties. In this paper we employ Variational Inference, and in particular Bayesian Neural Networks, as an alternative to MCMC in 21 cm observations to report credible estimations for cosmological and astrophysical parameters and assess the correlations among them.

研究动机与目标

• 为解决来自HERA和SKA等未来实验生成的大规模21厘米数据集的物理参数估计挑战。
• 通过采用贝叶斯神经网络（BNNs）克服标准深度神经网络在不确定性量化和过拟合方面的局限性。
• 在21厘米信号分析中实现对宇宙学与天体物理学参数的可靠参数相关性估计与可信区间估计。
• 评估并比较变分推断技术（特别是Flipout与Dropout）在21厘米数据上的不确定性估计性能。

提出的方法

• 采用变分推断近似网络权重的后验分布，通过最小化近似后验与真实后验之间的KL散度。
• 使用修改后的VGG架构（5个模块），激活函数为LeakyReLU（α = -0.3），引入批量归一化，卷积核大小为3×3，训练200个周期，批量大小为32。
• 实现两种权重分布近似方法：Dropout（丢弃率0.01）与Flipout（L2正则化1e−7），两者均支持蒙特卡洛采样以实现不确定性估计。
• 预测输出包括均值向量与完整的协方差矩阵，用于建模同时的偶然不确定性与认知不确定性，训练采用负对数似然（NLL）。
• 对每个测试样本执行K=3,500次蒙特卡洛采样，以估计预测分布与置信区间。
• 利用getdist包校准不确定性估计，生成可信轮廓，并在68.3%、95.5%与99.7%置信水平下评估覆盖率。

实验结果

研究问题

• RQ1 基于变分推断的贝叶斯神经网络能否为从21厘米信号中推导出的宇宙学与天体物理学参数提供可靠的不确定性估计？
• RQ2 在21厘米数据上，Flipout与Dropout等不同变分推断方法在预测准确度与不确定性校准方面表现如何比较？
• RQ3 BNN能否有效捕捉参数相关性（如σ8–Ωm），以打破宇宙再电离模型中的退化关系？
• RQ4 在保持不确定性量化能力的前提下，更小的BNN架构在21厘米参数估计中能否实现与最先进模型相当的性能？

主要发现

• Flipout在决定系数（R² = 0.92 vs. 0.87）与不确定性校准方面均优于Dropout，置信区间更紧凑。
• BNN在σ8与T_F_vir上的R² > 0.92，68.3%置信区间分别为74.1与70.3，表明预测精度极高。
• 成功捕捉并可视化了如σ8–Ωm等参数相关性，为宇宙学约束中的退化关系破缺提供了洞见。
• 该方法提供了可靠的99.7%可信区间，大多数参数的覆盖率超过99.8%，表明不确定性校准能力极强。
• 尽管采用更小的网络架构，BNN在21厘米参数估计中的性能仍可与最先进模型相媲美。
• BNN框架中同时包含偶然不确定性与认知不确定性，显著提升了对噪声与模型不确定性的鲁棒性，适用于未来21厘米巡天。