[论文解读] Why is it Difficult to Detect Sudden and Unexpected Epidemic Outbreaks in Twitter?

Avaré Stewart, Sara Romano-Bertrand+6 more|arXiv (Cornell University)|Nov 10, 2016

Data-Driven Disease Surveillance参考文献 26被引用 3

一句话总结

本文针对在Twitter中检测突发、意外的流行病爆发所面临的挑战，提出了一种基于Twitter的流行病智能（Epidemic Intelligence）系统，结合了动态分类、时间序列警报生成和个性化排序。研究结果表明，尽管常见流行病可被检测到，但高振荡、高幅度的时间序列仍因噪声而难以分析，因此提出了一种半监督方法，结合众包标注与上下文感知排序，以提高专家评估的效率。

ABSTRACT

Social media services such as Twitter are a valuable source of information for decision support systems. Many studies have shown that this also holds for the medical domain, where Twitter is considered a viable tool for public health officials to sift through relevant information for the early detection, management, and control of epidemic outbreaks. This is possible due to the inherent capability of social media services to transmit information faster than traditional channels. However, the majority of current studies have limited their scope to the detection of common and seasonal health recurring events (e.g., Influenza-like Illness), partially due to the noisy nature of Twitter data, which makes outbreak detection and management very challenging. Within the European project M-Eco, we developed a Twitter-based Epidemic Intelligence (EI) system, which is designed to also handle a more general class of unexpected and aperiodic outbreaks. In particular, we faced three main research challenges in this endeavor: 1) dynamic classification to manage terminology evolution of Twitter messages, 2) alert generation to produce reliable outbreak alerts analyzing the (noisy) tweet time series, and 3) ranking and recommendation to support domain experts for better assessment of the generated alerts. In this paper, we empirically evaluate our proposed approach to these challenges using real-world outbreak datasets and a large collection of tweets. We validate our solution with domain experts, describe our experiences, and give a more realistic view on the benefits and issues of analyzing social media for public health.

研究动机与目标

• 解决在Twitter中检测突发且意外的流行病爆发的困难，这些爆发常因噪声和术语演变而被掩盖。
• 开发一种稳健的流行病智能（EI）系统，能够处理非周期性及非季节性爆发，超越常见的流感样疾病（ILI）等疾病。
• 通过利用上下文特征对与爆发警报相关的推文进行排序和推荐，减轻公共卫生专家的信息过载。
• 通过领域专家评估和真实世界爆发数据对系统进行评估，提供社交媒体在公共卫生监测中实用性的现实评估。

提出的方法

• 采用半监督动态分类方法，以适应推文中术语的演变，利用众包标注来维持分类器随时间的性能。
• 实施一种时间序列分析框架，根据振荡性和幅度将推文模式分类为四类，以指导警报生成。
• 使用一种新算法检测推文内容中的特征漂移，触发使用新采样、人工标注的数据进行重新训练，以提升相关性检测效果。
• 应用个性化排序技术，整合社交标签和潜在主题，优先处理高信号推文以供专家审查。
• 设计多阶段EI流水线：（1）动态分类用于相关性判断，（2）通过时间序列聚类生成警报，（3）基于上下文感知的排序用于专家评估。
• 使用真实爆发数据集和专家反馈验证系统，评估其在真实公共卫生环境中的实用性和性能。

实验结果

研究问题

• RQ1 为何在Twitter中检测突发且意外的流行病爆发具有挑战性，特别是与季节性或周期性健康事件相比？
• RQ2 如何有效应用动态分类来处理社交媒体数据中术语演变和语义漂移，以实现爆发检测？
• RQ3 在推文数量的时间序列中，哪些模式最难以实现可靠的警报生成？它们如何被区分？
• RQ4 基于标签和潜在主题的个性化排序在多大程度上能提升专家评估爆发警报的效率？
• RQ5 在缺乏专家标注数据的情况下，众包标注能否达到足够质量以训练分类器，特别是在优先保证高召回率时？

主要发现

• 通过定期更新的众包标注训练数据实现的半监督动态分类，实现了高召回率和可接受的精确率，是专家标注数据的可行替代方案。
• 该系统成功识别并适应了推文中术语的演变，即使语言使用发生变化，也能检测到与爆发相关的内容。
• 识别出四种不同的时间序列模式：低振荡/高幅度（易于检测）、低数量（可直接用作警报），以及高振荡/高幅度（最难处理，因噪声干扰）。
• 高振荡、高幅度的时间序列仍是最难可靠分析的，表明需要更鲁棒的算法来应对噪声和不完整数据。
• 基于标签和潜在主题的个性化排序显著降低了专家的认知负荷，通过优先处理最相关的推文来提升评估效率。
• 专家验证确认，该系统为基于社交媒体的流行病智能提供了现实且实用的框架，但复杂时间序列模式下的警报生成仍需改进。