[论文解读] Semi-supervised Discovery of Informative Tweets During the Emerging Disasters

Shanshan Zhang, Slobodan Vučetić|arXiv (Cornell University)|Oct 12, 2016

Public Relations and Crisis Communication参考文献 5被引用 12

一句话总结

本文提出一种半监督学习方法，利用大规模未标注的Twitter数据将词语聚类为语义组，这些语义组随后用作特征，以在标注数据稀缺时提升灾难相关推文的分类性能。该方法在标注数据少于100条时显著优于传统词袋分类方法，使用4亿条未标注推文和2000个词簇时，在QF灾难数据集上达到最高81.2%的F1得分。

ABSTRACT

The first objective towards the effective use of microblogging services such as Twitter for situational awareness during the emerging disasters is discovery of the disaster-related postings. Given the wide range of possible disasters, using a pre-selected set of disaster-related keywords for the discovery is suboptimal. An alternative that we focus on in this work is to train a classifier using a small set of labeled postings that are becoming available as a disaster is emerging. Our hypothesis is that utilizing large quantities of historical microblogs could improve the quality of classification, as compared to training a classifier only on the labeled data. We propose to use unlabeled microblogs to cluster words into a limited number of clusters and use the word clusters as features for classification. To evaluate the proposed semi-supervised approach, we used Twitter data from 6 different disasters. Our results indicate that when the number of labeled tweets is 100 or less, the proposed approach is superior to the standard classification based on the bag or words feature representation. Our results also reveal that the choice of the unlabeled corpus, the choice of word clustering algorithm, and the choice of hyperparameters can have a significant impact on the classification accuracy.

研究动机与目标

• 为解决在新兴灾难初期阶段，标注数据极度稀缺时识别灾难相关推文的挑战。
• 通过利用未标注的历史Twitter数据，提升分类性能，超越传统词袋模型。
• 探究从大规模未标注语料中进行词聚类如何增强低资源灾难分类的特征表示。
• 评估不同未标注语料、聚类算法及超参数对分类准确率的影响。

提出的方法

• 该方法使用少量标注的灾难相关推文训练二分类器。
• 利用word2vec (W2V) 或基于TF-IDF的聚类方法，从未标注的大型Twitter语料中构建词簇。
• 每条推文被转换为特征向量，其中每个维度对应一个词簇的存在与否或频率，从而降低稀疏性并提升泛化能力。
• 该方法结合在标注数据上的监督学习与在未标注数据上的无监督预训练，以增强特征表示。
• 根据灾难类型和训练集大小，对簇数（K）进行调优，以平衡语义凝聚度与特征密度。
• 模型使用逻辑回归进行分类，并通过正则化防止在小规模标注数据集上过拟合。

实验结果

研究问题

• RQ1 当标注数据稀缺时，与标准词袋特征相比，使用从大规模未标注语料中提取的词簇是否能提升灾难相关推文的分类准确率？
• RQ2 未标注语料的选择（例如5万条、4亿条或特定灾难的推文）如何影响半监督方法的性能？
• RQ3 针对不同灾难类型和训练集大小，最优词簇数量是多少？
• RQ4 不同词聚类算法（如W2V与TF-IDF）在分类性能上有何差异？
• RQ5 模型性能在多大程度上依赖于超参数调优，如簇数和正则化强度？

主要发现

• 当标注数据少于100条时，所提出的半监督方法显著优于标准词袋分类方法，在使用100条标注数据时，QF灾难任务的F1得分最高达到0.812。
• 使用4亿条推文作为未标注语料源，在大多数灾难类型中均获得最高准确率，支持‘数据越多越好’的原则。
• 最优词簇数量因灾难类型和训练集大小而异，小规模训练集更偏好较小簇数（如500），而大规模训练集则偏好较大簇数（如2000）。
• 5万条推文语料优于其正样本子集（50Kp），表明在未标注数据中包含负样本可提升聚类质量。
• 以地理位置为特征的灾难推文作为未标注语料效果较差，因其规模较小，凸显了语料规模与多样性的关键作用。
• 聚类算法和超参数的选择对性能有显著影响，其中基于word2vec的聚类方法通常优于基于TF-IDF的方法。