[论文解读] Supervised learning improves disease outbreak detection

Benedikt Zacher, Irina Czogiel|arXiv (Cornell University)|Feb 6, 2019

Data-Driven Disease Surveillance参考文献 22被引用 3

一句话总结

本研究提出一种基于隐马尔可夫模型（HMM）的监督学习方法，利用公共卫生监测系统中的标记爆发数据，以改进传染病爆发检测。与最先进的FarringtonFlexible算法相比，该方法将误报率降低了高达50%，同时保持了相当的敏感性，从而减轻了流行病学家的工作负担。

ABSTRACT

The early detection of infectious disease outbreaks is a crucial task to protect population health. To this end, public health surveillance systems have been established to systematically collect and analyse infectious disease data. A variety of statistical tools are available, which detect potential outbreaks as abberations from an expected endemic level using these data. Here, we develop the first supervised learning approach based on hidden Markov models for disease outbreak detection, which leverages data that is routinely collected within a public health surveillance system. We evaluate our model using real Salmonella and Campylobacter data, as well as simulations. In comparison to a state-of-the-art approach, which is applied in multiple European countries including Germany, our proposed model reduces the false positive rate by up to 50% while retaining the same sensitivity. We see our supervised learning approach as a significant step to further develop machine learning applications for disease outbreak detection, which will be instrumental to improve public health surveillance systems.

研究动机与目标

• 开发一种基于常规收集的监测数据的监督机器学习方法，用于传染病爆发的早期检测。
• 在保持高敏感性的同时，降低爆发检测中的误报率，从而减少不必要的调查。
• 利用罗伯特·科赫研究所SurvNet系统中基于法定报告标准的标记爆发数据，训练更精确的检测模型。
• 通过减少误报警报对流行病学家造成的负担，提高公共卫生监测的效率和实用性。
• 证明监督HMM在真实世界爆发检测中相对于无监督或传统统计方法的可行性和优越性。

提出的方法

• 该方法采用在多个德国县每周病例数时间序列上训练的监督隐马尔可夫模型（HMM），其中状态标签表示地方性或爆发状态。
• HMM对每个时间点的潜在状态（地方性或爆发）进行建模，其观测概率取决于观察到的病例数以及季节性、趋势等协变量。
• 使用最大似然法估计模型参数，包括转移概率和观测分布，并通过似然比检验评估爆发效应的显著性。
• 观测分布建模为泊松或负二项分布，采用对数线性链接函数将病例数与协变量及爆发状态关联。
• 模型整合了随时间变化的协变量，如季节性模式和长期趋势，以改善基线估计。
• 最终的检测决策基于通过前向-后向算法计算的处于爆发状态的后验概率。

实验结果

研究问题

• RQ1 基于公共卫生监测系统中爆发数据的标记数据，训练的监督HMM是否能相比无监督或传统统计方法提升爆发检测性能？
• RQ2 监督学习在不损害敏感性的情况下，能在多大程度上降低疾病爆发检测中的误报率？
• RQ3 基于法定报告标准的真实世界爆发标签的引入，如何影响模型在检测沙门氏菌和弯曲杆菌爆发时的性能？
• RQ4 在存在小规模或不规则爆发的情况下，HMM方法是否能比FarringtonFlexible算法更有效地区分爆发期与地方性期？
• RQ5 爆发规模和标签完整度对模型检测真实爆发能力有何影响？

主要发现

• 所提出的基于HMM的方法在真实沙门氏菌和弯曲杆菌数据上，与FarringtonFlexible算法相比，将误报率降低了高达50%，同时保持了相同的敏感性水平。
• 该模型显著减少了误报，可降低流行病学家的工作负担，并为公共卫生监测节省时间和资源。
• 爆发周的平均病例数明显高于地方性周，验证了模型区分两种状态的能力。
• 估计的爆发效应参数（exp(β₄)）显示爆发周病例数显著增加，证实了模型捕捉爆发信号的能力。
• 尽管大幅降低了误报率，敏感性仍保持较高，尤其对较大爆发而言；但两种方法对小规模爆发（2–3例）的敏感性均较低。
• 即使小规模爆发被低估，模型性能依然稳健，因为它们与地方性水平难以区分，因此对模型学习影响不大。