[论文解读] Performance Analysis of Transformer Based Models (BERT, ALBERT and RoBERTa) in Fake News Detection

Shafna Fitria Nur Azizah, Hasan Dwi Cahyono+2 more|arXiv (Cornell University)|Aug 9, 2023

Edcuational Technology Systems被引用 5

一句话总结

本研究使用多语言和领域特定的数据集，评估 BERT、ALBERT、RoBERTa 和 IndoBERT 在印度尼西亚语虚假新闻检测中的表现。ALBERT 在准确率 87.6%、精确率 86.9% 和 F1 分数 86.9% 上表现最佳，优于 BERT-Multilingual、IndoBERT 和 RoBERTa，同时推理时间最快，为每轮 174.5 秒。

ABSTRACT

Fake news is fake material in a news media format but is not processed properly by news agencies. The fake material can provoke or defame significant entities or individuals or potentially even for the personal interests of the creators, causing problems for society. Distinguishing fake news and real news is challenging due to limited of domain knowledge and time constraints. According to the survey, the top three areas most exposed to hoaxes and misinformation by residents are in Banten, DKI Jakarta and West Java. The model of transformers is referring to an approach in the field of artificial intelligence (AI) in natural language processing utilizing the deep learning architectures. Transformers exercise a powerful attention mechanism to process text in parallel and produce rich and contextual word representations. A previous study indicates a superior performance of a transformer model known as BERT over and above non transformer approach. However, some studies suggest the performance can be improved with the use of improved BERT models known as ALBERT and RoBERTa. However, the modified BERT models are not well explored for detecting fake news in Bahasa Indonesia. In this research, we explore those transformer models and found that ALBERT outperformed other models with 87.6% accuracy, 86.9% precision, 86.9% F1-score, and 174.5 run-time (s/epoch) respectively. Source code available at: https://github.com/Shafna81/fakenewsdetection.git

研究动机与目标

• 评估基于 Transformer 的模型——BERT、ALBERT、RoBERTa 和 IndoBERT 在印度尼西亚语虚假新闻检测中的表现。
• 比较多语言 BERT（BERT-Multilingual）与领域特定的 IndoBERT 在印度尼西亚虚假新闻背景下的有效性。
• 探究 ALBERT 和 RoBERTa 等改进型 BERT 变体是否在低资源、非英语 NLP 环境下优于标准 BERT。
• 识别在印度尼西亚社交媒体环境中实现实时虚假新闻检测最高效且最准确的模型。

提出的方法

• 在 GitHub 和 Mendeley 上的三个印度尼西亚虚假新闻数据集上微调 BERT-Multilingual、IndoBERT、ALBERT 和 RoBERTa。
• 采用一致的训练设置：批量大小为 16，训练 50 个周期，使用 Adam 优化器，分类交叉熵损失，Dropout 率为 0.5。
• 应用标准的自然语言处理评估指标：准确率、精确率、召回率和 F1 分数，以比较模型性能。
• 在所有模型中使用固定的随机种子（12）以确保训练一致性。
• 测量每轮训练时间，以评估计算效率。
• 使用 Hugging Face 的 Transformers 库与 PyTorch 实现模型和推理。

实验结果

研究问题

• RQ1 在印度尼西亚语虚假新闻检测中，哪种基于 Transformer 的模型表现最佳：BERT、ALBERT、RoBERTa 还是 IndoBERT？
• RQ2 在印度尼西亚语背景下，多语言 BERT（BERT-Multilingual）与领域特定的 IndoBERT 的表现如何比较？
• RQ3 ALBERT 的效率提升和参数量减少是否导致其在虚假新闻检测中表现更优且推理更快？
• RQ4 不同分词器和预训练策略对模型准确率和推理速度有何影响？

主要发现

• ALBERT 在所有测试模型中取得了最高的准确率（87.6%）、精确率（86.9%）和 F1 分数（86.9%）。
• RoBERTa 的准确率（83.3%）和精确率（76.5%）低于 ALBERT，尽管其推理时间较快，为每轮 176.15 秒。
• IndoBERT 表现优于 BERT-Multilingual，准确率达到 86.6%，F1 分数为 86%，表明领域特定的预训练可提升性能。
• 尽管 BERT-Multilingual 在以往研究中表现优异，但在相同条件下微调后准确率显著下降至 78%，表明其对环境或超参数设置敏感。
• ALBERT 的推理时间最快（每轮 174.5 秒），甚至优于 RoBERTa 和 BERT-Multilingual。
• 本研究强调了分词器选择的重要性，并建议进一步探索 BERT 基础模型在低资源语言中的分词策略。