[论文解读] Overview of the Shared Task on Fake News Detection in Urdu at FIRE 2020

Maaz Amjad, Butt, Sabur+4 more|arXiv (Cornell University)|Jul 11, 2022

Misinformation and Its Impacts被引用 4

一句话总结

本论文介绍了在 FIRE 2021 上举办的第二届乌尔都语虚假新闻检测共享任务，该任务提供了涵盖五个领域的 1,300 篇标注新闻文章数据集。表现最佳的系统采用使用随机梯度下降优化的线性支持向量机（SVM），取得了 0.679 的 F1-macro 分数，优于深度神经网络，凸显了在这一低资源语言任务中传统机器学习方法的有效性。

ABSTRACT

Automatic detection of fake news is a highly important task in the contemporary world. This study reports the 2nd shared task called UrduFake@FIRE2021 on identifying fake news detection in Urdu. The goal of the shared task is to motivate the community to come up with efficient methods for solving this vital problem, particularly for the Urdu language. The task is posed as a binary classification problem to label a given news article as a real or a fake news article. The organizers provide a dataset comprising news in five domains: (i) Health, (ii) Sports, (iii) Showbiz, (iv) Technology, and (v) Business, split into training and testing sets. The training set contains 1300 annotated news articles -- 750 real news, 550 fake news, while the testing set contains 300 news articles -- 200 real, 100 fake news. 34 teams from 7 different countries (China, Egypt, Israel, India, Mexico, Pakistan, and UAE) registered to participate in the UrduFake@FIRE2021 shared task. Out of those, 18 teams submitted their experimental results, and 11 of those submitted their technical reports, which is substantially higher compared to the UrduFake shared task in 2020 when only 6 teams submitted their technical reports. The technical reports submitted by the participants demonstrated different data representation techniques ranging from count-based BoW features to word vector embeddings as well as the use of numerous machine learning algorithms ranging from traditional SVM to various neural network architectures including Transformers such as BERT and RoBERTa. In this year's competition, the best performing system obtained an F1-macro score of 0.679, which is lower than the past year's best result of 0.907 F1-macro. Admittedly, while training sets from the past and the current years overlap to a large extent, the testing set provided this year is completely different.

研究动机与目标

• 推进乌尔都语虚假新闻自动检测，乌尔都语属于低资源语言，自然语言处理资源有限。
• 激励研究社区利用多样化的自然语言处理技术，开发有效识别乌尔都语虚假新闻的方法。
• 提供一个公开可用的、涵盖多个领域的 1,300 篇标注乌尔都语文本新闻数据集，用于模型训练与评估。
• 对比传统机器学习模型与现代深度学习及预训练变换器模型在乌尔都语虚假新闻检测中的性能表现。
• 探究在低资源环境下特征工程与模型架构选择的有效性。

提出的方法

• 该任务被定义为二元文本分类问题，用于将新闻文章标记为真实或虚假。
• 从五个领域（健康、体育、娱乐、科技和商业）构建了包含 1,300 篇训练文章和 300 篇测试文章的数据集。
• 真实新闻来自可信来源，如 BBC 乌尔都语新闻和 CNN 乌尔都语，而虚假新闻则由专业人员撰写，以模仿真实虚假信息。
• 参赛者采用了多种技术，包括词袋（BoW）、词嵌入，以及 BERT、RoBERTa、MuRIL 和 RoBERTa-urdu-small 等预训练上下文模型。
• 使用了集成方法、卷积神经网络（CNN）以及多种机器学习模型（如 SVM、SVC），其中表现最佳的系统采用通过随机梯度下降优化的线性 SVM。
• 评估基于 F1-macro、精确率、召回率和准确率进行，结果按类别和总体进行报告。

实验结果

研究问题

• RQ1 在低资源乌尔都语虚假新闻检测任务中，传统机器学习模型与深度神经网络相比表现如何？
• RQ2 使用多语言模型与乌尔都语专用预训练语言模型对虚假新闻检测性能有何影响？
• RQ3 在这一低资源设置下，人工设计特征在多大程度上优于端到端神经表示？
• RQ4 在本年度任务中，针对全新测试集的模型泛化能力如何，即在某一组虚假新闻上训练的模型在完全不同的测试集上表现如何？
• RQ5 数据质量和领域多样性在乌尔都语虚假新闻检测系统性能中起到何种作用？

主要发现

• 表现最佳的系统取得了 0.679 的 F1-macro 分数，显著低于去年共享任务的 0.907 F1-macro 分数。
• 尽管训练数据与去年存在重叠，但测试集为全新数据，表明数据分布或难度发生了变化。
• 最佳系统采用通过随机梯度下降优化的线性 SVM，优于 BERT 和 RoBERTa 等更复杂的模型。
• 基于经典特征的模型与 SVM 结合，在性能上优于端到端神经网络和上下文嵌入模型。
• 所有系统在 F1-macro 上的平均得分为 0.553，标准差为 0.093，表明性能存在较大差异。
• 在 18 支提交队伍中，仅 11 支提供了技术报告，相比 2020 年版本有显著提升，表明研究兴趣和参与度正在增长。