[论文解读] Syndromic classification of Twitter messages

Nigel Collier, Son Doan|arXiv (Cornell University)|Oct 13, 2011

Data-Driven Disease Surveillance参考文献 8被引用 7

一句话总结

本文提出了一种实时机器学习系统，利用公共卫生本体论和基于关键词的特征，将推文消息分类为六种综合征类别——呼吸系统、胃肠道、神经系统、皮疹、全身性和出血性。使用多项式核函数（度数为1）的支持向量机（SVM）模型在出血性综合征上取得了89.9的最高F1分数，在全身性综合征上取得了89.3的最高F1分数，表明该系统在利用社交媒体数据进行自动化综合征监测方面表现优异。

ABSTRACT

Recent studies have shown strong correlation between social networking data and national influenza rates. We expanded upon this success to develop an automated text mining system that classifies Twitter messages in real time into six syndromic categories based on key terms from a public health ontology. 10-fold cross validation tests were used to compare Naive Bayes (NB) and Support Vector Machine (SVM) models on a corpus of 7431 Twitter messages. SVM performed better than NB on 4 out of 6 syndromes. The best performing classifiers showed moderately strong F1 scores: respiratory = 86.2 (NB); gastrointestinal = 85.4 (SVM polynomial kernel degree 2); neurological = 88.6 (SVM polynomial kernel degree 1); rash = 86.0 (SVM polynomial kernel degree 1); constitutional = 89.3 (SVM polynomial kernel degree 1); hemorrhagic = 89.9 (NB). The resulting classifiers were deployed together with an EARS C2 aberration detection algorithm in an experimental online system.

研究动机与目标

• 开发一种自动化文本挖掘系统，基于公共卫生本体论术语将推文消息分类为综合征类别。
• 评估朴素贝叶斯和支持向量机模型在将推文消息分类为六种综合征类别时的性能表现。
• 将表现最佳的分类器与异常检测算法（EARS C2）集成，部署于实时监测系统中。
• 通过在时间和地理区域上聚合已分类的消息，实现在疾病暴发早期检测。

提出的方法

• 收集了7,431条推文消息的语料库，这些消息已根据六种综合征类别使用公共卫生本体论进行标注。
• 应用基于关键词的词典作为初始过滤器，从推文中提取综合征信号。
• 使用10折交叉验证，在标注语料库上训练监督式机器学习模型——朴素贝叶斯和支持向量机。
• 在SVM中使用多项式核函数和径向基函数核函数，以优化分类性能。
• 通过停用词和短语的后处理步骤，过滤掉无关或噪声上下文。
• 将最佳模型与EARS C2异常检测算法结合，基于城市和时间维度的历史消息数量，生成实时预警基线。

实验结果

研究问题

• RQ1 基于公共卫生本体论的关键词特征，机器学习模型能否有效将推文消息分类为综合征类别？
• RQ2 在嘈杂的社交媒体文本中，朴素贝叶斯与支持向量机模型在分类多种综合征类别时的性能表现如何比较？
• RQ3 哪种模型架构（如多项式核函数与径向基函数核函数）能为综合征分类带来最高的F1分数？
• RQ4 对推文消息进行实时分类，能否实现有效的异常检测，从而实现疾病暴发的早期预警？

主要发现

• 使用多项式核函数（度数为1）的支持向量机模型在全身性综合征上取得了89.3的最高F1分数，优于其他模型。
• 出血性综合征在朴素贝叶斯模型上取得了89.9的最高F1分数，表明该罕见但关键类别表现优异。
• 胃肠道综合征的两种模型性能均较低（F1分数：79.2–85.4），可能由于标注者间一致性较低及训练数据有限。
• 神经系统综合征在使用多项式核函数（度数为1）的支持向量机模型上取得了88.6的F1分数，表明该模型在该类别上具有良好的泛化能力。
• 系统已作为开放访问的网络应用程序（DIZIE）部署，实时显示每小时更新的各城市和综合征的警报等级雷达图。
• EARS C2算法成功基于历史消息数量生成了预警基线，实现了时间维度上的异常检测，有助于疾病暴发监测。