[论文解读] Two Stage Transformer Model for COVID-19 Fake News Detection and Fact Checking

Rutvik Vijjali, Prathyush Potluri+2 more|arXiv (Cornell University)|Nov 26, 2020

Misinformation and Its Impacts参考文献 24被引用 47

一句话总结

一个两阶段管道使用 Transformer 模型获取相关的 COVID-19 事实解释，并通过文本蕴涵验证主张，达到更高的准确性和接近实时的性能。

ABSTRACT

The rapid advancement of technology in online communication via social media platforms has led to a prolific rise in the spread of misinformation and fake news. Fake news is especially rampant in the current COVID-19 pandemic, leading to people believing in false and potentially harmful claims and stories. Detecting fake news quickly can alleviate the spread of panic, chaos and potential health hazards. We developed a two stage automated pipeline for COVID-19 fake news detection using state of the art machine learning models for natural language processing. The first model leverages a novel fact checking algorithm that retrieves the most relevant facts concerning user claims about particular COVID-19 claims. The second model verifies the level of truth in the claim by computing the textual entailment between the claim and the true facts retrieved from a manually curated COVID-19 dataset. The dataset is based on a publicly available knowledge source consisting of more than 5000 COVID-19 false claims and verified explanations, a subset of which was internally annotated and cross-validated to train and evaluate our models. We evaluate a series of models based on classical text-based features to more contextual Transformer based models and observe that a model pipeline based on BERT and ALBERT for the two stages respectively yields the best results.

研究动机与目标

• 推动在疫情期间对抗性 COVID-19 假新闻检测，以遏制错误信息。
• 建立一个动态的、与虚假主张相关联的经验证的解释知识库。
• 设计一个两阶段的管道：模型 A 获取相关解释，模型 B 通过蕴涵性验证其真假。

提出的方法

• 模型 A：在主张–解释二元蕴涵任务上训练一个 Transformer，以获取候选解释；主张与解释的嵌入向量会被缓存并通过余弦相似度比较以选取最佳候选。
• 模型 B：将验证视为文本蕴涵问题；以模型 A 的参数作为初始化，并在交叉验证数据上进行微调；输出真实概率。
• 基线比较包括 TF、TF-IDF 和 GloVe 特征，以及简单分类器。
• 评估的 Transformer 包括 MobileBERT、BERT、ALBERT，以及组合方式（如 BERT+ALBERT），并考虑近实时计算。

实验结果

研究问题

• RQ1 一个两阶段的 Transformer 管道是否能有效检索相关的 COVID-19 解释并通过蕴涵性验证主张的真实性？
• RQ2 哪些预训练模型（BERT、ALBERT、MobileBERT）在检索（模型 A）和验证（模型 B）方面提供最佳性能？
• RQ3 在近实时部署条件下，两阶段方法在准确性和延迟方面相比经典 NLP 基线有何差异？
• RQ4 哪个数据集支持在 COVID-19 领域训练和评估主张–解释对？
• RQ5 哪些阈值和评估指标最能反映检索质量与验证准确性？

主要发现

• 基于 Transformer 的模型在检索和验证任务中均优于经典 NLP 基线。
• 测试集上的最佳综合表现来自 BERT（模型 A）与 ALBERT（模型 B）的组合。
• 模型 A 以较高的 MRR 和 Recall@10 检索相关解释；当使用与余弦相似度阈值以上的前置解释时，模型 B 可实现高准确性。
• BERT+ALBERT 在表 3 中达到最高的测试集准确度 0.855，MRR 0.632，Recall@10 0.795。
• 近实时性能是可行的，MobileBERT 在 Transformer 中显示出最低延迟，ALBERT 的内存使用最低；BERT+ALBERT 组合消耗 1398 MB，约每条主张 2.471 秒。
• 该数据集包含用于训练的 5500 对虚假主张–解释，以及用于测试的 200 对经交叉验证的对，来源于 COVID-19 事实核查。