[论文解读] Two-Stage Classifier for COVID-19 Misinformation Detection Using BERT: a Study on Indonesian Tweets

Douglas Raevan Faisal, Rahmad Mahendra|arXiv (Cornell University)|Jun 30, 2022

Misinformation and Its Impacts被引用 7

一句话总结

本研究提出一种基于IndoBERT的两阶段分类器，用于检测印尼语推文中的新冠状病毒谣言，首先过滤相关性，再分类谣言。该方法准确率达到87.02%，优于基线模型，并发布了高质量、公开可用的印尼语谣言数据集，具有较强的标注者间一致性。

ABSTRACT

The COVID-19 pandemic has caused globally significant impacts since the beginning of 2020. This brought a lot of confusion to society, especially due to the spread of misinformation through social media. Although there were already several studies related to the detection of misinformation in social media data, most studies focused on the English dataset. Research on COVID-19 misinformation detection in Indonesia is still scarce. Therefore, through this research, we collect and annotate datasets for Indonesian and build prediction models for detecting COVID-19 misinformation by considering the tweet's relevance. The dataset construction is carried out by a team of annotators who labeled the relevance and misinformation of the tweet data. In this study, we propose the two-stage classifier model using IndoBERT pre-trained language model for the Tweet misinformation detection task. We also experiment with several other baseline models for text classification. The experimental results show that the combination of the BERT sequence classifier for relevance prediction and Bi-LSTM for misinformation detection outperformed other machine learning models with an accuracy of 87.02%. Overall, the BERT utilization contributes to the higher performance of most prediction models. We release a high-quality COVID-19 misinformation Tweet corpus in the Indonesian language, indicated by the high inter-annotator agreement.

研究动机与目标

• 解决印尼社交媒体（尤其是推特）上关于新冠状病毒谣言检测研究稀缺的问题。
• 构建一个高质量、人工标注的印尼语新冠状病毒相关推文数据集，重点关注相关性与谣言检测。
• 开发并评估一种结合BERT进行相关性过滤、Bi-LSTM进行谣言检测的两阶段分类模型。
• 证明预训练语言模型（如IndoBERT）在低资源、低资源语言环境下的谣言检测中的有效性。
• 发布数据集与模型代码，以支持未来多语言谣言检测的研究。

提出的方法

• 使用公开API收集超过一年的与新冠状病毒相关的印尼语推特数据，并通过语言和主题相关性进行筛选。
• 采用两阶段标注流程：首先根据主题和语言标准将推文标注为“相关”或“不相关”，然后评估事实性陈述的真实性。
• 使用IndoBERT作为序列分类的基础模型，预测推文的相关性，随后使用Bi-LSTM模型进行最终的谣言分类。
• 应用结构化的标注指南以确保一致性，包括语言、主题相关性以及可验证事实性陈述的标准。
• 评估多种基线模型（如SVM、逻辑回归、Bi-LSTM），并与所提出的两阶段BERT-Bi-LSTM集成模型进行比较。
• 计算标注者间一致性（Cohen’s kappa），以验证数据集质量，获得较高的一致性评分。

实验结果

研究问题

• RQ1 与基线模型相比，使用IndoBERT和Bi-LSTM的两阶段分类器在检测印尼语新冠状病毒推文谣言方面的有效性如何？
• RQ2 在低资源语言中，使用预训练语言模型（如IndoBERT）在多大程度上提升了谣言检测性能？
• RQ3 人工标注的印尼语新冠状病毒谣言数据集在标注者间一致性的质量与可靠性如何？
• RQ4 相关性过滤在多大程度上提升了嘈杂社交媒体数据中谣言检测系统的整体性能？
• RQ5 在疫情期间，印尼社交媒体话语中常见的谣言类型有哪些？

主要发现

• 结合IndoBERT进行相关性检测、Bi-LSTM进行谣言分类的两阶段分类器达到了最高的准确率87.02%。
• 基于BERT的模型在所有评估指标上均持续优于SVM和逻辑回归等传统机器学习模型。
• 所提出的数据集表现出高度的标注者间一致性，Cohen’s kappa评分表明标注者之间具有强可靠性。
• 引入相关性过滤显著提升了模型聚焦于相关且可验证事实内容的能力，减少了与主题无关或非事实性推文带来的噪声。
• 印尼语推文中常见的谣言包括虚假医疗声明、误导性疫苗信息以及未经证实的阴谋论。
• 公开发布的数据集与代码库有望支持未来在多语言和低资源谣言检测领域的研究。