[论文解读] Sensitivity-Aware Amortized Bayesian Inference

Lasse Elsemüller, Hans Olischläger+4 more|arXiv (Cornell University)|Oct 17, 2023

Gaussian Processes and Bayesian Inference被引用 6

一句话总结

该论文提出了一种敏感性感知的近似贝叶斯推断（SA-ABI）方法，通过在共享的深度集成网络中将多种似然函数、先验分布和数据配置编码为上下文变量，高效地将敏感性分析整合到基于神经网络的贝叶斯推断中。该方法无需重新训练即可实现快速、低开销的模型敏感性评估，涵盖结构选择与数据扰动的影响，已在真实应用场景中实现对超过100,000种配置的可扩展性分析。

ABSTRACT

Sensitivity analyses reveal the influence of various modeling choices on the outcomes of statistical analyses. While theoretically appealing, they are overwhelmingly inefficient for complex Bayesian models. In this work, we propose sensitivity-aware amortized Bayesian inference (SA-ABI), a multifaceted approach to efficiently integrate sensitivity analyses into simulation-based inference with neural networks. First, we utilize weight sharing to encode the structural similarities between alternative likelihood and prior specifications in the training process with minimal computational overhead. Second, we leverage the rapid inference of neural networks to assess sensitivity to data perturbations and preprocessing steps. In contrast to most other Bayesian approaches, both steps circumvent the costly bottleneck of refitting the model for each choice of likelihood, prior, or data set. Finally, we propose to use deep ensembles to detect sensitivity arising from unreliable approximation (e.g., due to model misspecification). We demonstrate the effectiveness of our method in applied modeling problems, ranging from disease outbreak dynamics and global warming thresholds to human decision-making. Our results support sensitivity-aware inference as a default choice for amortized Bayesian workflows, automatically providing modelers with insights into otherwise hidden dimensions.

研究动机与目标

• 解决复杂贝叶斯模型中传统敏感性分析效率低下的问题，后者需为每个模型变体付出高昂的重新训练成本。
• 克服在近似贝叶斯推断中评估似然函数、先验分布和数据预处理敏感性的计算瓶颈。
• 将成熟的敏感性分析技术整合到基于神经网络的推断工作流中，且计算开销极低。
• 通过单一训练好的模型实现实时评估模型对结构和数据相关扰动的鲁棒性。
• 在统一的推断框架中，利用深度集成的不确定性估计检测模型设定错误和近似不确定性。

提出的方法

• 通过权重共享，在单一神经网络架构中将多种似然函数和先验规范编码为上下文变量。
• 训练一个深度神经网络集成，其中每个成员学习在不同模型配置条件下推断后验分布。
• 将后验推断条件化于表示替代似然函数、先验或数据扰动的上下文向量，从而实现在无需重新训练的情况下快速预测。
• 利用集成成员间的预测方差检测近似敏感性及潜在的模型设定错误。
• 利用神经网络推断的高效性，在数千种模型配置上实现大规模敏感性分析，评估接近瞬时完成。
• 在上下文条件化推断框架内应用成熟的敏感性分析方法，如Sobol'指数和数据扰动研究。

Figure 1: Our proposed approach for sensitivity-aware amortized Bayesian inference (SA-ABI). During training, multiple likelihood , prior , and data configurations are encoded as contexts in a deep ensemble of neural approximators. During inference, our sensitivity-aware method casts model refits as

实验结果

研究问题

• RQ1 是否可以在不为每种配置重新训练模型的前提下，高效地将敏感性分析集成到近似贝叶斯推断中？
• RQ2 如何系统性地评估神经网络中结构模型选择（似然函数、先验）对后验推断的影响？
• RQ3 深度集成的不确定性在多大程度上能够检测出近似推断中的误差或模型设定错误？
• RQ4 是否能够通过单次神经网络推断过程，快速且大规模地评估数据扰动的敏感性？
• RQ5 在真实世界科学应用中，该方法在高维模型配置空间中的可扩展性如何？

主要发现

• SA-ABI在几乎可忽略的推理开销下，实现了对超过100,000种模型配置的敏感性分析，展示了在真实应用中的可扩展性。
• 即使编码了多样的似然函数和先验规范，该方法在后验近似质量损失极小的前提下，仍能实现精确的敏感性估计。
• 深度集成的方差能有效识别出不可靠的后验近似，可作为模型设定错误或近似误差的代理指标。
• 上下文条件化推断使数据扰动影响的快速评估成为可能，实现无需重新训练的近乎瞬时敏感性检测。
• 该方法成功检测出复杂科学模型中的敏感性，包括疾病爆发动态和气候变化临界点估计。
• 通过将敏感性分析作为默认组件集成，SA-ABI揭示了原本在贝叶斯工作流中难以察觉的隐藏不确定性。

(a) Bivariate posteriors.