[论文解读] Transformer-based Language Model Fine-tuning Methods for COVID-19 Fake News Detection

Ben Chen, Bin Chen+6 more|arXiv (Cornell University)|Jan 14, 2021

Misinformation and Its Impacts参考文献 18被引用 5

一句话总结

本文提出 Ro-CT-BERT，一种用于检测新冠疫情虚假新闻的微调 Transformer 模型，通过增强领域特定词汇、应用加热版 softmax 损失进行难样本挖掘、结合对抗训练提升鲁棒性，并融合 RoBERTa 与 CT-BERT 的特征表示。该模型在基准数据集上实现了 99.02% 的 SOTA 加权平均 F1 分数。

ABSTRACT

With the pandemic of COVID-19, relevant fake news is spreading all over the sky throughout the social media. Believing in them without discrimination can cause great trouble to people's life. However, universal language models may perform weakly in these fake news detection for lack of large-scale annotated data and sufficient semantic understanding of domain-specific knowledge. While the model trained on corresponding corpora is also mediocre for insufficient learning. In this paper, we propose a novel transformer-based language model fine-tuning approach for these fake news detection. First, the token vocabulary of individual model is expanded for the actual semantics of professional phrases. Second, we adapt the heated-up softmax loss to distinguish the hard-mining samples, which are common for fake news because of the disambiguation of short text. Then, we involve adversarial training to improve the model's robustness. Last, the predicted features extracted by universal language model RoBERTa and domain-specific model CT-BERT are fused by one multiple layer perception to integrate fine-grained and high-level specific representations. Quantitative experimental results evaluated on existing COVID-19 fake news dataset show its superior performances compared to the state-of-the-art methods among various evaluation metrics. Furthermore, the best weighted average F1 score achieves 99.02%.

研究动机与目标

• 为解决通用语言模型在新冠疫情背景下检测短文本、领域特定虚假新闻时表现不佳的问题。
• 克服因标准分词器将罕见专业术语切分为子词而导致的语义理解受限问题。
• 通过提升对短文本、语义模糊的难分类虚假新闻样本的泛化能力与鲁棒性，改善模型性能。
• 通过融合通用模型（RoBERTa）的细粒度表征与 CT-BERT 的高层领域特征，提升检测性能。
• 通过集成多种方法改进，在现有新冠疫情虚假新闻检测基准上实现更优性能。

提出的方法

• 通过扩充基础模型的词表，加入频繁出现的专业短语，以保持语义完整性并避免子词碎片化。
• 将加热版 softmax 损失应用于强调难负样本，提升短文本分类中的判别能力。
• 通过 FGM（快速梯度法）实施对抗训练，对输入嵌入进行扰动，增强模型鲁棒性。
• 利用多层感知机融合 RoBERTa 与 CT-BERT 的预测特征，整合细粒度表示与领域特定特征。
• 在经过筛选的新冠疫情虚假新闻数据集上进行训练，结合大规模数据增强与领域特定预训练。
• 通过消融实验验证各组件的贡献：对抗训练、损失函数与词表扩展。

实验结果

研究问题

• RQ1 通过引入领域特定短语扩展模型词表，能否提升对短篇、专业性虚假新闻的语义理解？
• RQ2 应用加热版 softmax 损失函数是否能增强模型在虚假新闻检测中区分难负样本的能力？
• RQ3 对抗训练在低资源、短文本分类任务中，能在多大程度上提升模型的鲁棒性与泛化能力？
• RQ4 将通用语言模型（RoBERTa）与领域专用模型（CT-BERT）的特征进行融合，在虚假新闻检测中效果如何？
• RQ5 多种改进方法的综合影响相较于当前 SOTA 方法，对整体检测性能的提升程度如何？

主要发现

• 所提出的 Ro-CT-BERT 模型在加权平均 F1 分数上达到 99.02%，显著优于所有基线模型。
• 消融实验确认，对抗训练、加热版 softmax 损失与词表扩展三个组件均对性能提升有贡献。
• 加热版 softmax 损失带来的单个改进最大，相较基线 CT-BERT 模型提升 F1 0.0028 个百分点。
• 对抗训练（FGM）使 F1 提升 0.0023 个百分点，表明其在处理挑战性样本时增强了泛化能力。
• 仅词表扩展即使 F1 提升 0.0005 个百分点，证实其在保留罕见医学术语语义方面的作用。
• 完整模型（含全部三项组件，即 CT-BERT-TRM）的 F1 得分为 98.78%，在与 RoBERTa 特征融合后进一步提升至 99.02%。