[论文解读] Truncated Marginal Neural Ratio Estimation - Data

B. Miller, Alex Cole+3 more|arXiv (Cornell University)|Jun 29, 2021

Neural Networks and Applications被引用 6

一句话总结

本文提出截断边际神经比值估计（TMNRE），一种在似然不可知设置下实现贝叶斯推断的仿真高效、局部摊销的方法。通过使用指示函数截断先验，并利用神经比值估计方法估计低维边际后验分布，TMNRE 同时实现了高仿真效率和后验可信度的可检验性，在有限仿真次数下，其准确性和鲁棒性优于现有方法。

ABSTRACT

The dataset accompanying <em>Truncated Marginal Neural Ratio Estimation</em>. The software repository can be found here. The arxiv article can be found here.

研究动机与目标

• 解决科学仿真推断中高维、似然不可知的问题。
• 通过先验截断，聚焦于相关参数区域，提升仿真效率。
• 在不进行完整联合后验估计的前提下，实现后验可信度的实证检验。
• 结合目标化推断与局部摊销，实现在真实世界应用中可信赖、可检验的结果。
• 提供一种在高维参数空间中平衡计算成本与推断可靠性的方法。

提出的方法

• 使用以观测数据为中心的指示函数截断先验，将仿真聚焦于高后验密度区域。
• 通过神经比值估计方法估计边际似然与证据之比，实现对特定感兴趣参数的高效后验近似。
• 采用多目标训练设置，多个边际后验共享同一特征嵌入，降低计算开销。
• 采用迭代式嵌套采样启发的方案，从一系列截断先验中生成训练数据，提升收敛性与准确性。
• 通过仅在观测数据附近的受限区域内训练后验估计器，实现局部摊销，支持高效的自洽性检验。
• 采用具有共享线性特征嵌入和各边际独立MLP的神经网络架构，通过二元交叉熵损失进行优化。

实验结果

研究问题

• RQ1 先验截断与边际后验估计是否能提升高维、似然不可知问题中的仿真效率？
• RQ2 局部摊销在多大程度上可实现在不进行完整后验学习的前提下，对后验可信度的实证检验？
• RQ3 在复杂、窄峰后验分布上，TMNRE 与现有 SBI 方法相比，在准确性和仿真成本方面表现如何？
• RQ4 TMNRE 是否能在有限仿真预算下实现高保真度的边际后验估计？
• RQ5 目标化推断与局部摊销的结合是否能在真实世界科学应用中带来更可信赖的推断结果？

主要发现

• TMNRE 仅用 5,000 次仿真即可准确复现宇宙学参数的 1- 和 2-σ 可信区域，与真实 MCMC 结果高度一致。
• 使用相同仿真次数的 NRE 无法有效约束参数空间，产生近乎均匀的后验分布。
• 即使仅使用 5,000 次样本的短 MCMC 链（相比收敛所需 45,000 次），1σ 区域的估计是准确的，但 2σ 区域估计效果较差。
• 各边际间共享特征嵌入可实现高效的多目标训练，实际应用中未出现显著调参问题。
• 通过先验截断将仿真集中于高后验密度区域，TMNRE 实现了高仿真效率。
• 局部摊销支持对可信区域的实证自洽性检验，增强了推断结果的可信度，而无需完整后验学习。