[论文解读] Non-separable Dynamic Nearest-Neighbor Gaussian Process Models for Large spatio-temporal Data With an Application to Particulate Matter Analysis

Abhirup Datta, Sudipto Banerjee+3 more|arXiv (Cornell University)|Oct 24, 2015

Air Quality and Health Impacts参考文献 54被引用 5

一句话总结

该论文提出了一种非可分动态最近邻高斯过程（DNNGP）模型，可实现对具有非可分协方差结构的大规模时空数据集的可扩展、完整的贝叶斯推断。通过利用基于局部邻近的近似方法以及避免密集矩阵运算的吉布斯采样器，DNNGP 实现了线性存储和计算复杂度，在预测精度方面显著优于低秩方法，同时可在任意时空分辨率下实现完整的后验推断。

ABSTRACT

Particulate matter (PM) is a class of malicious environmental pollutants known to be detrimental to human health. Regulatory efforts aimed at curbing PM levels in different countries often require high resolution space-time maps that can identify red-flag regions exceeding statutory concentration limits. Continuous spatio-temporal Gaussian Process (GP) models can deliver maps depicting predicted PM levels and quantify predictive uncertainty. However, GP based approaches are usually thwarted by computational challenges posed by large datasets. We construct a novel class of scalable Dynamic Nearest Neighbor Gaussian Process (DNNGP) models that can provide a sparse approximation to any spatio-temporal GP (e.g., with non-separable covariance structures). The DNNGP we develop here can be used as a sparsity-inducing prior for spatio-temporal random effects in any Bayesian hierarchical model to deliver full posterior inference. Storage and memory requirements for a DNNGP model are linear in the size of the dataset thereby delivering massive scalability without sacrificing inferential richness. Extensive numerical studies reveal that the DNNGP provides substantially superior approximations to the underlying process than low rank approximations. Finally, we use the DNNGP to analyze a massive air quality dataset to substantially improve predictions of PM levels across Europe in conjunction with the LOTOS-EUROS chemistry transport models (CTMs).

研究动机与目标

• 解决具有非可分协方差结构的大规模时空数据集下完整高斯过程模型的计算不可行性问题。
• 开发一种可扩展的密集 GP 模型替代方案，同时保持推断的丰富性和预测准确性。
• 即使在大规模数据集下，也能在任意位置和时间点实现时空过程的完整后验推断。
• 将物理模型输出（如 LOTOS-EUROS CTM）与观测数据相结合，以提升空气质量预测性能。
• 揭示现有模型未能捕捉到的颗粒物数据中残差的时间与空间依赖结构。

提出的方法

• 构建一种动态最近邻高斯过程（DNNGP），利用局部空间和时间邻近点来近似完整 GP 协方差结构。
• 基于相关函数导出的参数化距离度量定义邻近集合，利用单调性实现高效更新。
• 实现一种吉布斯采样器，通过依赖于局部邻域的条件分布避免完整的矩阵分解。
• 通过稀疏精度矩阵和基于邻近的更新，确保计算复杂度随观测数量呈线性增长。
• 将 DNNGP 用作贝叶斯分层模型中时空随机效应的稀疏诱导先验。
• 通过灵活的邻近选择和距离度量，将框架扩展至支持非平稳和非可分协方差函数。

实验结果

研究问题

• RQ1 基于最近邻的 GP 模型是否能在大规模非可分时空数据集上同时实现计算可扩展性和高预测精度？
• RQ2 在预测性能和不确定性量化方面，DNNGP 与低秩方法及其他稀疏 GP 近似方法相比表现如何？
• RQ3 DNNGP 在多大程度上能够揭示化学传输模型未能捕捉到的空气质量数据中残差的时间与空间依赖结构？
• RQ4 DNNGP 框架是否能够支持在大规模数据集下对任意时空分辨率实现完整的贝叶斯推断？
• RQ5 当结合 LOTOS-EUROS CTM 输出时，DNNGP 的引入在多大程度上改善了欧洲 PM10 浓度的预测性能？

主要发现

• DNNGP 模型在观测数量上实现了线性存储和计算复杂度，支持大规模数据集的可扩展性。
• 数值研究表明，DNNGP 对真实底层 GP 过程的近似效果显著优于低秩方法。
• 在欧洲 PM10 数据的真实世界应用中，DNNGP 显著提升了预测精度，优于以往方法。
• 分析显示，残差时间相关性占主导地位，其时间范围与 PM10 的物理寿命一致，具有合理的物理意义。
• 可在任意位置和时间点实现对时空过程的完整后验推断，支持统计降尺度。
• DNNGP 框架可扩展至非平稳和非可分协方差结构，显著增强了其在环境建模中的灵活性。