[论文解读] Uncertainty Quantification of Deep Learning for Spatiotemporal Data: Challenges and Opportunities

Wenchong He, Zhe Jiang|arXiv (Cornell University)|Nov 4, 2023

Data-Driven Disease Surveillance被引用 4

一句话总结

本文全面综述了深度学习在时空数据中不确定性量化（UQ）的研究，强调了空间-时间依赖性、非平稳性以及物理约束等独特挑战。通过将数据和模型不确定性源整合到物理信息神经网络与概率深度生成模型中，提出了一套可靠、具备不确定性感知能力的预测框架，适用于灾难响应和医学影像等高风险应用场景。

ABSTRACT

With the advancement of GPS, remote sensing, and computational simulations, large amounts of geospatial and spatiotemporal data are being collected at an increasing speed. Such emerging spatiotemporal big data assets, together with the recent progress of deep learning technologies, provide unique opportunities to transform society. However, it is widely recognized that deep learning sometimes makes unexpected and incorrect predictions with unwarranted confidence, causing severe consequences in high-stake decision-making applications (e.g., disaster management, medical diagnosis, autonomous driving). Uncertainty quantification (UQ) aims to estimate a deep learning model's confidence. This paper provides a brief overview of UQ of deep learning for spatiotemporal data, including its unique challenges and existing methods. We particularly focus on the importance of uncertainty sources. We identify several future research directions for spatiotemporal data.

研究动机与目标

• 解决在时空数据上应用深度学习模型时对不确定性量化（UQ）的迫切需求，因为过度自信的预测可能导致严重的现实后果。
• 识别并分类时空数据中不确定性的主要来源，包括数据不确定性（如传感器噪声、配准误差）和模型不确定性（如分布偏移、分布外样本）。
• 审视传统UQ方法在处理复杂时空依赖性、非平稳性及物理约束方面的局限性。
• 提出将物理信息神经网络（PINNs）与概率深度生成模型相结合，以提升由偏微分方程或反问题控制的系统中的不确定性估计能力。
• 勾勒未来研究方向，以实现地理空间与动态系统中稳健、可扩展且物理一致的不确定性量化。

提出的方法

• 将不确定性划分为数据不确定性（如传感器噪声、GPS误差、标注错误）和模型不确定性（如分布偏移、分布外样本），以指导方法设计。
• 利用概率深度生成模型（如条件变分自编码器、cGANs、归一化流）对医学或地球物理成像等反问题中的结构化不确定性进行建模。
• 通过物理信息神经网络（PINNs）将物理定律（尤其是偏微分方程，PDE）嵌入深度神经网络，在训练过程中将控制方程作为残差损失项进行强制约束。
• 利用概率神经网络对来自多个来源的不确定性（如随机初始条件、未知参数、测量噪声）进行传播，以建模输出的概率分布。
• 通过在地理空间和特征空间中对样本密度进行建模，考虑空间与时间的自相关性及非平稳性。
• 应用条件归一化流与潜在空间建模，在成像与反问题中生成合理且物理一致的重构结果，并附带不确定性估计。

实验结果

研究问题

• RQ1 当时空数据因空间与时间依赖性而违反独立同分布（i.i.d.）假设时，如何有效量化深度学习模型中的不确定性？
• RQ2 时空数据中的主要不确定性来源是什么？它们在数据不确定性（如传感器噪声）与模型不确定性（如分布偏移）之间有何差异？
• RQ3 如何将物理信息神经网络（PINNs）扩展以纳入对具有随机或混沌动力学系统的不确定性量化？
• RQ4 深度生成模型在建模医学或遥感图像重建等反问题中的结构化不确定性方面发挥何种作用？
• RQ5 如何在保持时空一致性与物理一致性的同时，使不确定性估计在大规模时空数据上实现可扩展性与高效性？

主要发现

• 时空数据表现出强烈的时空自相关性，违反了i.i.d.假设，因此需要显式建模时空依赖结构的不确定性量化方法。
• 时空系统中的数据不确定性源于多种因素，包括传感器噪声、GPS误差和地图配准不准确，这些都会导致预测与推断中的不确定性。
• 在非平稳的时空系统中，模型不确定性显著放大，因为数据分布随区域或时间段变化，导致泛化能力差，并在分布外样本上产生过度自信的预测。
• 物理信息神经网络（PINNs）可通过将物理定律嵌入模型来减少不确定性，提升一致性与鲁棒性，尤其在数据稀缺或观测噪声较大的情况下。
• 条件深度生成模型（如cVAEs和归一化流）可在反问题中实现结构化不确定性估计，但若未显式引入领域特定的物理约束，可能忽略这些关键限制。
• 未来的UQ框架必须联合建模来自数据、模型和物理定律的不确定性，特别是在具有混沌动力学或随机控制方程的系统中，以确保在高风险应用中实现可靠预测。