[论文解读] Neural Bayes estimators for censored inference with peaks-over-threshold models

J. Ian Richards, Matthew Sainsbury-Dale+2 more|arXiv (Cornell University)|Jun 27, 2023

Statistical Methods and Bayesian Inference被引用 4

一句话总结

该论文提出神经贝叶斯估计器（NBEs），通过将右删失信息直接嵌入卷积神经网络架构，实现了对空间极值中右删失峰值超额模型的快速、无需似然函数的推断。与传统基于似然的方法相比，该方法在计算和统计效率方面均有显著提升，实现了高维空间极值模型的实时拟合——在沙特阿拉伯的PM₂.₅数据上实现每模型毫秒级的推断速度（训练后）。

ABSTRACT

Making inference with spatial extremal dependence models can be computationally burdensome since they involve intractable and/or censored likelihoods. Building on recent advances in likelihood-free inference with neural Bayes estimators, that is, neural networks that approximate Bayes estimators, we develop highly efficient estimators for censored peaks-over-threshold models that {use data augmentation techniques} to encode censoring information in the neural network {input}. Our new method provides a paradigm shift that challenges traditional censored likelihood-based inference methods for spatial extremal dependence models. Our simulation studies highlight significant gains in both computational and statistical efficiency, relative to competing likelihood-based approaches, when applying our novel estimators to make inference with popular extremal dependence models, such as max-stable, $r$-Pareto, and random scale mixture process models. We also illustrate that it is possible to train a single neural Bayes estimator for a general censoring level, precluding the need to retrain the network when the censoring level is changed. We illustrate the efficacy of our estimators by making fast inference on hundreds-of-thousands of high-dimensional spatial extremal dependence models to assess extreme particulate matter 2.5 microns or less in diameter (${ m PM}_{2.5}$) concentration over the whole of Saudi Arabia.

研究动机与目标

• 解决在右删失数据下，基于似然的推断在空间极值依赖模型中的计算负担问题。
• 开发一种基于神经网络的方法，近似贝叶斯估计器，而无需显式计算似然函数。
• 实现在不同删失水平下，对高维空间极值实现摊销化、可重用的推断。
• 在真实世界环境数据（如PM₂.₅浓度）上展示方法的可扩展性和统计效率。
• 探索训练单一NBE以适应任意删失阈值的可行性，从而减少重新训练的需求。

提出的方法

• 设计一种卷积神经网络（CNN）架构，将删失阈值显式编码为输入表示的一部分。
• 训练网络将空间极值数据（含删失值）映射到模型参数的后验均值估计，近似贝叶斯估计器。
• 采用基于模拟的训练框架，在已知参数和删失水平下生成合成数据，实现端到端学习。
• 引入用户定义的删失概率τ，使估计器能泛化至不同删失水平，而无需重新训练。
• 利用神经网络的摊销特性，实现在训练后仅需单次前向传播即可完成快速推断。
• 在局部平稳框架下，使网络能够处理平稳与各向异性空间依赖结构。

实验结果

研究问题

• RQ1 神经贝叶斯估计器在右删失空间极值问题上，是否能在计算速度和统计效率方面优于传统基于似然的推断方法？
• RQ2 是否可以训练一个单一神经估计器以适应任意删失水平而无需重新训练？
• RQ3 NBEs在具有复杂依赖结构（如广义极值、r-帕累托和随机尺度混合过程）的高维空间极值模型上表现如何？
• RQ4 NBEs是否能够实现在大规模空间数据集（如全国范围PM₂.₅浓度建模）上的大规模、实时推断？
• RQ5 当前框架在处理不规则区域、非平稳过程或高维参数空间时存在哪些局限性？

主要发现

• 所提出的神经贝叶斯估计器实现了显著的计算加速，训练后可在数毫秒内完成对数十万个高维空间模型的推断。
• 与基于似然的方法相比，该方法在高删失率和复杂极值依赖结构下展现出更优的统计效率。
• 单一NBE可针对任意删失阈值τ进行训练，当删失水平变化时无需重新训练。
• 该框架成功实现了以往计算上不可行的复杂极值模型的大规模自助抽样研究。
• 在沙特阿拉伯PM₂.₅数据上的应用揭示了前所未有的尺度和分辨率下空间极值依赖的新见解。
• 该方法可扩展至其他右删失数据问题（如生存分析），只需调整网络架构和输入表示。