[论文解读] Sequence to Sequence with Attention for Influenza Prevalence Prediction using Google Trends

Kenjiro Kondo, Akihiko Ishikawa+1 more|arXiv (Cornell University)|Jul 3, 2019

Data-Driven Disease Surveillance参考文献 14被引用 4

一句话总结

本文提出一种带有注意力机制的序列到序列模型，利用谷歌趋势数据预测流感流行程度，实现了最先进的性能，皮尔逊相关系数为0.996，均方根误差为0.67。该方法通过利用搜索趋势模式来弥补报告不足或‘暗藏’病例数据的缺陷，从而提高预测准确性。

ABSTRACT

Early prediction of the prevalence of influenza reduces its impact. Various studies have been conducted to predict the number of influenza-infected people. However, these studies are not highly accurate especially in the distant future such as over one month. To deal with this problem, we investigate the sequence to sequence (Seq2Seq) with attention model using Google Trends data to assess and predict the number of influenza-infected people over the course of multiple weeks. Google Trends data help to compensate the dark figures including the statistics and improve the prediction accuracy. We demonstrate that the attention mechanism is highly effective to improve prediction accuracy and achieves state-of-the art results, with a Pearson correlation and root-mean-square error of 0.996 and 0.67, respectively. However, the prediction accuracy of the peak of influenza epidemic is not sufficient, and further investigation is needed to overcome this problem.

研究动机与目标

• 解决远期流感流行程度预测准确率低的问题，特别是超过一个月的预测。
• 克服传统模型在处理不完整或报告不足的病例数据（‘暗数’）时的局限性。
• 利用谷歌趋势数据作为公众兴趣和潜在感染趋势的代理指标，以提升预测能力。
• 评估注意力机制在提升序列到序列建模用于流行病时间序列预测方面的有效性。
• 通过混合数据源和深度学习方法，实现流感流行程度预测的最先进性能。

提出的方法

• 采用编码器-解码器结构的序列到序列（Seq2Seq）神经网络架构，以建模流感时间序列中的时间依赖性。
• 将与流感相关的搜索查询的谷歌趋势数据作为辅助输入特征整合到编码器中。
• 应用注意力机制，在解码过程中动态加权相关的历史时间步，以提高对信息性模式的关注。
• 使用多个地区的历史流感病例数和相应的谷歌趋势数据，进行端到端训练。
• 结合均方误差（MSE）和基于相关性的损失函数，以优化预测准确性。
• 执行多步预测，预测未来多个星期的流感流行程度。

实验结果

研究问题

• RQ1 与基线模型相比，带有注意力机制的序列到序列模型是否能提升长期流感流行程度预测的准确性？
• RQ2 谷歌趋势数据在多大程度上通过捕捉实时公众行为和未报告病例，提升了预测性能？
• RQ3 注意力机制在识别用于流感疫情预测的关键时间模式方面有多有效？
• RQ4 该模型在预测流感流行高峰期方面的表现如何？这在流行病学预测中是一个公认的挑战。
• RQ5 整合搜索趋势数据是否在相关系数和RMSE方面实现了最先进水平的结果？

主要发现

• 所提出的带注意力机制的Seq2Seq模型实现了0.996的皮尔逊相关系数和0.67的均方根误差（RMSE），代表了最先进的性能。
• 注意力机制通过聚焦于相关的历史时间步和搜索趋势模式，显著提升了预测准确性。
• 谷歌趋势数据有效弥补了流感病例报告中的‘暗数’，增强了模型的鲁棒性和泛化能力。
• 尽管整体准确率很高，但该模型在预测流感流行高峰期方面仍表现不足，需要进一步改进。
• 该模型在多个预测时间跨度上表现出强大的泛化能力，尤其在短期到中期（最多数周）预测中表现优异。
• 通过谷歌趋势整合搜索行为数据，在建模官方病例统计数据之外的实时疾病动态方面被证明极为有效。