[论文解读] When in Doubt: Neural Non-Parametric Uncertainty Quantification for Epidemic Forecasting

Harshavardhan Kamarthi, Lingkai Kong+3 more|arXiv (Cornell University)|Jun 7, 2021

Explainable Artificial Intelligence (XAI)被引用 5

一句话总结

本文提出EpiFNP，一种用于流行病预测的神经函数过程模型，通过使用随机潜在变量和动态相关性图，以非参数方式量化不确定性。该模型在准确性（最高提升2.5倍）和校准度（最高提升2.4倍）方面显著优于最先进模型，同时通过将预测与相似的历史季节关联，实现可解释的预测。

ABSTRACT

Accurate and trustworthy epidemic forecasting is an important problem that has impact on public health planning and disease mitigation. Most existing epidemic forecasting models disregard uncertainty quantification, resulting in mis-calibrated predictions. Recent works in deep neural models for uncertainty-aware time-series forecasting also have several limitations; e.g. it is difficult to specify meaningful priors in Bayesian NNs, while methods like deep ensembling are computationally expensive in practice. In this paper, we fill this important gap. We model the forecasting task as a probabilistic generative process and propose a functional neural process model called EPIFNP, which directly models the probability density of the forecast value. EPIFNP leverages a dynamic stochastic correlation graph to model the correlations between sequences in a non-parametric way, and designs different stochastic latent variables to capture functional uncertainty from different perspectives. Our extensive experiments in a real-time flu forecasting setting show that EPIFNP significantly outperforms previous state-of-the-art models in both accuracy and calibration metrics, up to 2.5x in accuracy and 2.4x in calibration. Additionally, due to properties of its generative process,EPIFNP learns the relations between the current season and similar patterns of historical seasons,enabling interpretable forecasts. Beyond epidemic forecasting, the EPIFNP can be of independent interest for advancing principled uncertainty quantification in deep sequential models for predictive analytics

研究动机与目标

• 解决深度学习模型在流行病预测中缺乏可靠不确定性量化的问题。
• 开发一种方法，生成校准良好的概率预测，而无需依赖难以处理的贝叶斯推断或计算成本高昂的集成方法。
• 通过识别与当前趋势相似的历史流行病模式，实现可解释的预测。
• 利用非参数深度生成方法，对时间序列数据中的复杂时间依赖性和函数不确定性进行建模。
• 在新型或非典型流行病情景（如2019/20年H1N1与COVID-19共循环）中提升模型鲁棒性。

提出的方法

• EpiFNP采用神经函数过程框架，将流行病时间序列建模为功能性空间中的概率生成过程。
• 利用随机数据相关性图（SDCG）动态建模当前与历史流行病序列之间的关系。
• 独立的随机潜在变量捕捉局部与全局函数不确定性，提升校准度与鲁棒性。
• 模型在推理过程中利用注意力机制关注相关历史季节，实现可解释的预测。
• 将深度序列模型与非参数贝叶斯方法结合，直接建模预测分布，无需参数假设。
• 该架构端到端训练，以最小化负对数似然，同时促进校准良好的不确定性估计。

实验结果

研究问题

• RQ1 与现有深度学习和统计基线相比，非参数深度生成模型是否能在实时流行病预测中实现更高的准确性和校准度？
• RQ2 如何在不依赖难以处理的先验或计算成本高昂的集成方法的前提下，有效量化流行病预测中的不确定性？
• RQ3 通过识别相似的历史流行病模式，能否对模型的不确定性估计进行有意义的解释？
• RQ4 在前所未有的流行病事件（如2019/20年H1N1与COVID-19共循环）中，该模型如何响应？
• RQ5 随机数据相关性图（SDCG）在在多大程度上实现了可解释且可靠的预测解释？

主要发现

• 在实时流感预测中，EpiFNP的准确性最高比最先进模型提升2.5倍，校准度最高提升2.4倍。
• 它是唯一能够可靠捕捉2019/20年流感季节前所未有的第三波高峰的模型，95%置信区间完全包含真实值。
• 在高峰周附近，模型的不确定性估计上升，这与SDCG中平均边概率降低一致，反映出更高的预测方差。
• EpiFNP自动检索出最相关的的历史季节（如2005年、2006年和2010年）用于2015/16年季节的预测，与实际观测模式一致。
• SDCG通过将当前预测与相似的历史流行病轨迹关联，实现可解释的预测，增强信任与透明度。
• 在预测准确性和校准度方面，EpiFNP优于GP、RNP及其他基线模型，尤其在新型或异常情景中表现更优。