[论文解读] Overview of the HASOC Subtrack at FIRE 2021: Hate Speech and Offensive Content Identification in English and Indo-Aryan Languages

Thomas Mandl, Sandip Modha+9 more|arXiv (Cornell University)|Dec 17, 2021

Hate Speech and Cyberbullying Detection被引用 8

一句话总结

本论文介绍了FIRE 2021的HASOC子任务，该任务基于Twitter数据，针对英语、印地语和马拉地语中的仇恨言论及冒犯性内容识别开展共享任务。该研究设立了两项任务——二元分类（仇恨 vs. 非冒犯性）与细粒度分类（HATE、OFFENSIVE、PROFANITY），采用基于Transformer的模型，实现了最先进性能，F1得分分别达到0.91（马拉地语）、0.78（印地语）和0.83（英语）。

ABSTRACT

The widespread of offensive content online such as hate speech poses a growing societal problem. AI tools are necessary for supporting the moderation process at online platforms. For the evaluation of these identification tools, continuous experimentation with data sets in different languages are necessary. The HASOC track (Hate Speech and Offensive Content Identification) is dedicated to develop benchmark data for this purpose. This paper presents the HASOC subtrack for English, Hindi, and Marathi. The data set was assembled from Twitter. This subtrack has two sub-tasks. Task A is a binary classification problem (Hate and Not Offensive) offered for all three languages. Task B is a fine-grained classification problem for three classes (HATE) Hate speech, OFFENSIVE and PROFANITY offered for English and Hindi. Overall, 652 runs were submitted by 65 teams. The performance of the best classification algorithms for task A are F1 measures 0.91, 0.78 and 0.83 for Marathi, Hindi and English, respectively. This overview presents the tasks and the data development as well as the detailed results. The systems submitted to the competition applied a variety of technologies. The best performing algorithms were mainly variants of transformer architectures.

研究动机与目标

• 为低资源印度-雅利安语（包括印地语和马拉地语）的仇恨言论与冒犯性内容检测建立基准数据集。
• 在多种语言间评估并比较自然语言处理模型，重点关注多语言仇恨言论识别。
• 通过标准化的共享任务，支持可扩展的AI工具在在线内容审核中的开发。
• 通过提供用于冒犯性语言检测的标注多语言数据，推动低资源NLP研究。
• 评估不同NLP架构在仇恨言论检测任务中，于低资源与高资源语言设置下的表现。

提出的方法

• 从Twitter构建了涵盖英语、印地语和马拉地语的多语言数据集，并对仇恨言论与冒犯性内容进行标注。
• 定义了两个子任务：任务A（二元分类：仇恨 vs. 非冒犯性）适用于所有三种语言；任务B（细粒度分类：HATE、OFFENSIVE、PROFANITY）适用于英语和印地语。
• 收集了来自65支参赛团队的652个系统运行结果，涵盖多种NLP技术与模型架构。
• 使用标准指标（包括F1得分）评估模型性能，以比较不同语言与任务之间的表现。
• 在表现最佳的系统中，主要采用基于Transformer的模型架构，包括BERT及其变体。
• 标准化数据标注与评估协议，以确保模型比较的可复现性与公平性。

实验结果

研究问题

• RQ1 不同NLP模型在低资源印度-雅利安语（如印地语和马拉地语）中对仇恨言论与冒犯性内容的分类表现如何？
• RQ2 在仇恨言论检测任务中，高资源语言（英语）与低资源语言（印地语、马拉地语）之间的性能差距有多大？
• RQ3 在多语言设置下，哪些模型架构在二元分类与细粒度分类任务中取得最高的F1得分？
• RQ4 迁移学习与多语言预训练在低资源语言仇恨言论检测中的性能提升程度如何？
• RQ5 在HASOC共享任务中，模型预测在不同语言特定与多语言基准之间的一致性如何？

主要发现

• 任务A表现最佳的模型在马拉地语上达到0.91的F1得分，在印地语上为0.78，在英语上为0.83，表明即使在低资源环境下也能实现优异表现。
• 基于Transformer的架构，尤其是多语言BERT变体，在所有语言与任务中的顶尖提交结果中占据主导地位。
• 英语的性能（F1: 0.83）高于印地语（F1: 0.78），表明在低资源语言检测中存在性能差距。
• 马拉地语数据集取得了最高的F1得分（0.91），表明在数据充足且标注细致的情况下，即使低资源语言的模型性能也可表现强劲。
• 任务B（细粒度分类）的整体表现低于任务A，反映出区分HATE、OFFENSIVE与PROFANITY三类的复杂性更高。
• 该共享任务成功吸引了65支团队与652次系统运行，表明学术界对多语言仇恨言论检测具有广泛的研究兴趣。