[论文解读] Overview of Abusive and Threatening Language Detection in Urdu at FIRE 2021

Maaz Amjad, Alisa Zhila+6 more|arXiv (Cornell University)|Jul 14, 2022

Hate Speech and Cyberbullying Detection被引用 4

一句话总结

本论文介绍了在FIRE 2021会议期间举办的乌尔都语辱骂性与威胁性语言检测共享任务，提出了两个经过人工标注的数据集——用于辱骂性语言检测的2,400条训练数据与1,100条测试数据，以及用于威胁性语言检测的6,000条训练数据与3,950条测试数据。表现最佳的系统采用多语言BERT（m-BERT）模型，在辱骂性语言检测任务中取得了0.880的F1分数，在威胁性语言检测任务中取得了0.545的F1分数，凸显了基于Transformer的模型在低资源乌尔都语自然语言处理任务中的有效性。

ABSTRACT

With the growth of social media platform influence, the effect of their misuse becomes more and more impactful. The importance of automatic detection of threatening and abusive language can not be overestimated. However, most of the existing studies and state-of-the-art methods focus on English as the target language, with limited work on low- and medium-resource languages. In this paper, we present two shared tasks of abusive and threatening language detection for the Urdu language which has more than 170 million speakers worldwide. Both are posed as binary classification tasks where participating systems are required to classify tweets in Urdu into two classes, namely: (i) Abusive and Non-Abusive for the first task, and (ii) Threatening and Non-Threatening for the second. We present two manually annotated datasets containing tweets labelled as (i) Abusive and Non-Abusive, and (ii) Threatening and Non-Threatening. The abusive dataset contains 2400 annotated tweets in the train part and 1100 annotated tweets in the test part. The threatening dataset contains 6000 annotated tweets in the train part and 3950 annotated tweets in the test part. We also provide logistic regression and BERT-based baseline classifiers for both tasks. In this shared task, 21 teams from six countries registered for participation (India, Pakistan, China, Malaysia, United Arab Emirates, and Taiwan), 10 teams submitted their runs for Subtask A, which is Abusive Language Detection and 9 teams submitted their runs for Subtask B, which is Threatening Language detection, and seven teams submitted their technical reports. The best performing system achieved an F1-score value of 0.880 for Subtask A and 0.545 for Subtask B. For both subtasks, m-Bert based transformer model showed the best performance.

研究动机与目标

• 为解决低资源语言中辱骂性与威胁性语言检测研究不足的问题，特别是针对拥有超过1.7亿使用者的乌尔都语。
• 通过在FIRE 2021与ODS SoC 2021框架内组织共享任务，推动乌尔都语自然语言处理系统的稳健发展。
• 提供公开可用的高质量人工标注数据集，涵盖乌尔都语中的辱骂性与威胁性语言，以支持未来研究。
• 评估多样化的自然语言处理方法——从传统机器学习到最先进的Transformer模型——在乌尔都语文本分类任务中的表现。
• 通过让来自六个国家的21支团队参与，促进国际协作，共同应对与网络安全性相关的乌尔都语特定自然语言处理挑战。

提出的方法

• 开展了两项二分类共享任务：子任务A为辱骂性语言与非辱骂性语言的区分，子任务B为威胁性内容与非威胁性内容的区分，均基于乌尔都语推文。
• 数据集基于推特数据构建，标注遵循推特官方对辱骂性与威胁性行为的定义。
• 参赛者获得了包含真实标签的训练集和包含隐藏标签的测试集以供评估。
• 基线模型采用逻辑回归与多语言BERT（m-BERT）实现，另包含XLM-RoBERTa作为对比基线。
• 评估采用F1分数与ROC-AUC指标，结果主要依据私有测试集上的F1分数进行排名。
• 由于在真实标签发布后可能存在数据泄露风险，因此延迟提交的系统被排除在正式排名之外，以确保评估的公平性。

实验结果

研究问题

• RQ1 多语言Transformer模型（如m-BERT与XLM-RoBERTa）在低资源乌尔都语文本中检测辱骂性与威胁性语言方面的有效性如何？
• RQ2 传统机器学习方法与深度学习方法在乌尔都语辱骂性与威胁性语言检测中的性能差距有多大？
• RQ3 与端到端的上下文建模相比，特征工程与预训练嵌入在分类性能上的贡献程度如何？
• RQ4 系统在不同语言与风格模式（尤其是混合编码或非正式语境）下的表现如何变化？
• RQ5 现有数据集在支持真实世界辱骂内容检测中的泛化能力与鲁棒性方面存在哪些挑战与局限？

主要发现

• 子任务A（辱骂性语言检测）的优胜系统采用m-BERT模型，取得了0.880的F1分数，显著优于传统机器学习基线模型。
• 对于子任务B（威胁性语言检测），最佳官方结果为0.545的F1分数，同样由m-BERT模型实现，表明威胁检测的难度高于辱骂检测。
• 团队SSNCSE_NLP的延迟提交结果在子任务B上取得了高达0.805的F1分数，表明在官方比赛结束后可能存在数据泄露。
• m-BERT模型在两项任务中均持续优于其他方法，显示出在乌尔都语自然语言处理任务中强大的迁移能力与鲁棒性。
• 传统模型（如SVM、逻辑回归与随机森林）在两项任务中的F1分数均低于0.60，表明需要上下文表示方法。
• 公开发布的标注数据集（包括训练与测试划分）为未来研究与可复现性提供了支持，通过更大规模数据与模型微调，有望进一步提升性能。