[论文解读] Uncertainty quantification for epidemiological forecasts of COVID-19 through combinations of model predictions

Bowman Ve, Silk Ds+2 more|arXiv (Cornell University)|Jun 18, 2020

COVID-19 epidemiological studies参考文献 21被引用 6

一句话总结

本文提出一种多模型集成方法，通过结合来自不同流行病学模型的预测密度，以改进对COVID-19结局（如每日死亡人数、住院人数和ICU床位占用率）的短期预测。该方法利用预测评分为每个模型分配最优权重，降低结构性不确定性，提升预测的准确性和可靠性。

ABSTRACT

A common statistical problem is prediction, or forecasting, in the presence of an ensemble of multiple candidate models. For example, multiple candidate models may be available to predict case numbers in a disease epidemic, resulting from different modelling approaches (e.g. mechanistic or empirical) or differing assumptions about spatial or age mixing. Alternative models capture genuine uncertainty in scientific understanding of disease dynamics, and/or different simplifying assumptions underpinning each model derivation. While the analysis of multi-model ensembles can be computationally challenging, accounting for this 'structural uncertainty' can improve forecast accuracy and reduce the risk of over-estimated confidence. In this paper we look at combining epidemiological forecasts for COVID-19 daily deaths, hospital admissions, and hospital and ICU occupancy, in order to improve the predictive accuracy of the short term forecasts. We combining models via combinations of individual predictive densities with weights chosen via application of predictive scoring, as commonly applied in meteorological and economic forecasting.

研究动机与目标

• 解决由于不同建模假设和方法导致的流行病学预测中结构性不确定性的挑战。
• 提升在COVID-19大流行期间关键公共卫生指标（如每日死亡人数和住院率）的短期预测准确性。
• 通过量化多个候选模型的不确定性，减少预测中的过度自信。
• 开发一种基于预测性能数据驱动加权的稳健框架，用于组合模型预测。

提出的方法

• 将多个流行病学模型的个体预测密度整合为一个加权的预测分布。
• 使用预测评分（例如，合适的评分规则）根据历史预测表现确定每个模型的最优权重。
• 将该方法应用于大流行期间每日死亡人数、住院人数以及医院/ICU床位占用率的预测。
• 考虑由于对传播动力学、年龄混合模式和空间传播假设不同而产生的模型多样性。
• 通过根据预测能力加权模型，使集成预测同时反映统计不确定性和结构性不确定性。
• 利用气象学和经济学中既有的统计技术，提升集成预测的可靠性和校准性。

实验结果

研究问题

• RQ1 多模型集成如何提升关键COVID-19结局短期预测的准确性？
• RQ2 不同建模假设带来的结构性不确定性对预测可靠性有何影响？
• RQ3 预测评分方法如何改善集成预测中单个模型的加权？
• RQ4 与单模型预测相比，模型组合在多大程度上减少了预测区间中的过度自信？
• RQ5 加权的预测密度组合能否产生比单个模型更可靠和更准确的预测？

主要发现

• 与单个模型相比，加权集成方法显著提升了对每日死亡人数、住院人数和ICU占用率的预测准确性。
• 通过加权组合引入模型多样性，减少了预测区间中的过度自信，增强了预测的可靠性。
• 预测评分有效识别出高性能模型，从而提升了整体集成性能。
• 该方法成功量化并减少了因不同建模假设引发的结构性不确定性。
• 集成预测在所有关键健康指标上均表现出更好的校准性和更清晰的预测区间。
• 该方法在大流行期间的不同时间段和数据条件下均表现出稳健性。