[论文解读] TDEFSI: Theory Guided Deep Learning Based Epidemic Forecasting with Synthetic Information

Lijing Wang, Jiangzhuo Chen+1 more|arXiv (Cornell University)|Jan 28, 2020

Data-Driven Disease Surveillance参考文献 80被引用 13

一句话总结

TDEFSI 是一种理论引导的深度学习框架，通过融合低分辨率监控数据与高分辨率合成流行病模拟，实现对流感样疾病（ILI）的高分辨率时空预测。通过在包含社会、人口和地理异质性的区域特定模拟数据上训练双分支LSTM网络，TDEFSI 在县一级实现了最先进水平的性能，在州一级也达到相当水平的性能，并通过蒙特卡洛丢弃法实现不确定性量化。

ABSTRACT

Influenza-like illness (ILI) places a heavy social and economic burden on our society. Traditionally, ILI surveillance data is updated weekly and provided at a spatially coarse resolution. Producing timely and reliable high-resolution spatiotemporal forecasts for ILI is crucial for local preparedness and optimal interventions. We present TDEFSI (Theory Guided Deep Learning Based Epidemic Forecasting with Synthetic Information), an epidemic forecasting framework that integrates the strengths of deep neural networks and high-resolution simulations of epidemic processes over networks. TDEFSI yields accurate high-resolution spatiotemporal forecasts using low-resolution time series data. During the training phase, TDEFSI uses high-resolution simulations of epidemics that explicitly model spatial and social heterogeneity inherent in urban regions as one component of training data. We train a two-branch recurrent neural network model to take both within-season and between-season low-resolution observations as features, and output high-resolution detailed forecasts. The resulting forecasts are not just driven by observed data but also capture the intricate social, demographic and geographic attributes of specific urban regions and mathematical theories of disease propagation over networks. We focus on forecasting the incidence of ILI and evaluate TDEFSI's performance using synthetic and real-world testing datasets at the state and county levels in the USA. The results show that, at the state level, our method achieves comparable/better performance than several state-of-the-art methods. At the county level, TDEFSI outperforms the other methods. The proposed method can be applied to other infectious diseases as well.

研究动机与目标

• 为解决尽管在州或HHS区域层面存在粗粒度、延迟的监控数据，仍需及时生成高分辨率（县一级）ILI预测的挑战。
• 将特定领域的知识（如社交接触网络、人口异质性及流行病动力学）整合到深度学习模型中，以提高预测的可靠性与物理一致性。
• 通过在高保真、理论驱动的合成流行病模拟数据上进行训练（利用高性能计算生成），克服真实监控数据中的数据稀疏性和噪声问题。
• 通过蒙特卡洛丢弃法实现预测不确定性量化，支持基于风险的公共卫生决策。
• 探索通过在框架中嵌入因果模型实现“如果……会怎样”预测的可行性，以支持干预情景下的情景预测。

提出的方法

• TDEFSI 采用双分支长短期记忆（LSTM）神经网络，将当季观测数据（当前流行病趋势）和跨季历史数据（前一季相似周的数据）作为输入。
• 该模型在高分辨率、基于代理的疾病传播模拟生成的合成流行病曲线上进行训练，这些模拟考虑了空间、时间及人口异质性，基于真实城市社交接触网络构建。
• 通过使用现实世界参数对合成数据进行校准，确保模拟的流行病曲线与观测分布高度一致，从而减少真实数据与合成数据之间的领域偏移。
• 在损失函数中嵌入物理一致性约束（如发病率非负性、时间平滑性），以确保预测结果保持生物学上的合理性。
• 推理阶段应用蒙特卡洛丢弃法以估计预测不确定性，从而实现具有可信区间的概率预测。
• 通过修改模拟参数（如学校停课）重新训练合成数据，该框架支持“如果……会怎样”预测，可生成不同干预情景下的替代流行病轨迹。

实验结果

研究问题

• RQ1 在合成流行病模拟数据上进行训练的深度学习模型，是否能在高分辨率（县一级）ILI预测中实现比现有最先进方法更高的准确性？
• RQ2 当真实监控数据稀疏且粒度粗略时，整合理论引导的合成数据在多大程度上能提升预测性能？
• RQ3 物理一致性约束（如非负性、时间平滑性）在多大程度上能增强基于深度学习的流行病预测的可靠性与真实性？
• RQ4 蒙特卡洛丢弃法是否能有效量化流行病预测中的不确定性？预测区间对真实值的覆盖程度如何？
• RQ5 TDEFSI 是否可通过修改合成模拟中的干预参数（如学校停课），实现对公共卫生干预影响的模拟，从而支持‘如果……会怎样’的预测？

主要发现

• 在州一级，TDEFSI 的性能与现有最先进方法相当或更优，表明其在真实世界数据上具有强大的鲁棒性与泛化能力。
• 在县一级，TDEFSI 显著优于基线方法，凸显其在数据稀缺问题最严重的高分辨率预测中的有效性。
• 新泽西州（2016–2017年）的所有真实值均落在2倍标准差的预测区间内，验证了蒙特卡洛丢弃法对不确定性估计的可靠性。
• 敏感性分析表明，空间一致性和非负性约束可提升模型性能，表明嵌入领域知识可增强预测准确性。
• 通过在修改后干预情景（如学校停课）的合成数据上重新训练，该框架可实现“如果……会怎样”预测，证明其在基于情景的公共卫生规划中的实用性。
• 使用高分辨率、理论驱动的合成模拟数据有效缩小了训练数据与真实世界数据之间的领域差距，使得即使在低分辨率输入下也能实现准确预测。