[论文解读] Precision Requirements for Monte Carlo Sums within Hierarchical Bayesian Inference

R. C. Essick, Will M. Farr|arXiv (Cornell University)|Apr 1, 2022

Statistical Methods and Bayesian Inference被引用 7

一句话总结

本文研究了层次贝叶斯推断中蒙特卡洛求和的精度要求，表明每个事件使用恒定数量的单事件后验样本以及线性随事件数增长的注入样本，即可实现准确的群体推断。研究证明，对蒙特卡洛不确定性的近似积分会引入偏差或需要更多样本，因此推荐采用点估计以实现高效且准确的经验目标分布估计。

ABSTRACT

Hierarchical Bayesian inference is often conducted with estimates of the target distribution derived from Monte Carlo sums over samples from separate analyses of parts of the hierarchy or from mock observations used to estimate sensitivity to a target population. We investigate requirements on the number of Monte Carlo samples needed to guarantee the estimator of the target distribution is precise enough that it does not affect the inference. We consider probabilistic models of how Monte Carlo samples are generated, showing that the finite number of samples introduces additional uncertainty as they act as an imperfect encoding of the components of the hierarchical likelihood. Additionally, we investigate the behavior of estimators marginalized over approximate measures of the uncertainty, comparing their performance to the Monte Carlo point estimate. We find that correlations between the estimators at nearby points in parameter space are crucial to the precision of the estimate. Approximate marginalization that neglects these correlations will either introduce a bias within the inference or be more expensive (require more Monte Carlo samples) than an inference constructed with point estimates. We therefore recommend that hierarchical inferences with empirically estimated target distributions use point estimates.

研究动机与目标

• 确定确保层次贝叶斯推断准确且不因有限采样引入偏差所需的蒙特卡洛样本最小数量。
• 评估估计选择函数和单事件证据中蒙特卡洛不确定性对群体水平推断的影响。
• 评估对蒙特卡洛不确定性进行近似积分是否能提高推断精度，或是否引入偏差。
• 确定在层次推断中，所需样本数随星表规模的缩放行为。
• 推荐最优采样策略——优先采用点估计而非近似积分——以实现经验目标分布估计。

提出的方法

• 作者将蒙特卡洛样本的生成建模为概率过程，量化了由于有限采样导致的层次似然估计器的不确定性。
• 他们推导了目标分布蒙特卡洛估计的方差表达式：$\mathrm{Var}[\hat{X}(\Lambda)]_{\mathrm{MC}} = \frac{f(\Lambda)}{m}$，其中 $m$ 为样本数量。
• 他们分析了相邻参数点处估计器之间的相关性影响，表明这些相关性对精度至关重要。
• 他们提出一种迭代采样策略：估计后验抽样对之间 $\Delta\ln\hat{p}$ 的方差，并仅在方差较高处添加样本。
• 他们探索了使用低差异序列进行注入采样，以加速收敛，尤其适用于高维选择函数的情形。
• 他们将点估计与近似积分技术进行比较，证明后者要么引入偏差，要么需要比点估计更多的样本。

实验结果

研究问题

• RQ1 为确保层次似然估计足够精确而不影响推断，所需的蒙特卡洛样本最小数量是多少？
• RQ2 蒙特卡洛求和中样本数量有限如何影响目标分布的不确定性以及后续的群体推断？
• RQ3 对蒙特卡洛不确定性进行近似积分是否能提高推断精度，还是会引入偏差？
• RQ4 在层次推断中，单事件后验样本数和注入样本数随星表规模如何缩放？
• RQ5 低差异序列是否能减少高维参数空间中实现精确推断所需的注入数量？

主要发现

• 每个事件使用恒定数量的单事件后验样本即可实现精确的层次推断，与星表规模无关。
• 当每个事件使用恒定数量的注入样本时，所需注入样本数随星表规模线性增长，而非二次增长。
• 忽略相邻参数点处估计器之间相关性的近似积分方法会引入偏差，或需要显著多于点估计的样本数。
• 目标分布的点估计比近似积分更高效且更准确，因此应避免使用近似积分，而应优先采用直接点估计。
• 蒙特卡洛估计的方差按 $\mathrm{Var}[\hat{X}(\Lambda)]_{\mathrm{MC}} = \frac{f(\Lambda)}{m}$ 缩放，该表达式可用于仅在需要处迭代添加样本。
• 对于可分离的注入分布，低差异序列可将注入需求减少至 $\mathcal{O}(N^{1/2})$，为大规模星表带来计算优势。