[论文解读] SemEval-2020 Task 12: Multilingual Offensive Language Identification in Social Media (OffensEval 2020)

Marcos Zampieri, Preslav Nakov+7 more|arXiv (Cornell University)|Jun 12, 2020

Hate Speech and Cyberbullying Detection被引用 16

一句话总结

本论文介绍了 OffensEval 2020，这是一项针对社交媒体中攻击性语言识别的多语言共享任务，将原始的 OLID 标注模式扩展至五种语言——英语、阿拉伯语、丹麦语、希腊语和土耳其语。该研究引入了一个规模庞大的半监督英语训练数据集，包含九百多万条推文，并为三个子任务提供了基准数据集：攻击性语言检测（A）、攻击类型分类（B）以及攻击目标识别（C），共有 145支团队参与，提交了 70篇系统描述论文。

ABSTRACT

We present the results and main findings of SemEval-2020 Task 12 on Multilingual Offensive Language Identification in Social Media (OffensEval 2020). The task involves three subtasks corresponding to the hierarchical taxonomy of the OLID schema (Zampieri et al., 2019a) from OffensEval 2019. The task featured five languages: English, Arabic, Danish, Greek, and Turkish for Subtask A. In addition, English also featured Subtasks B and C. OffensEval 2020 was one of the most popular tasks at SemEval-2020 attracting a large number of participants across all subtasks and also across all languages. A total of 528 teams signed up to participate in the task, 145 teams submitted systems during the evaluation period, and 70 submitted system description papers.

研究动机与目标

• 为应对推特、脸书和 Reddit 等多语言社交媒体平台中日益严重的攻击性语言问题。
• 将原始为英语设计的 OLID 标注模式扩展至多种语言，实现一致的分层标注，以支持多语言攻击性语言检测。
• 为子任务 A（攻击性语言检测）、B（攻击类型分类）和 C（攻击目标识别）提供大规模、多语言数据集。
• 通过提供阿拉伯语、丹麦语、希腊语和土耳其语的平行数据集，与英语并行，实现跨语言训练与分析。
• 通过大规模共享任务和广泛的社区参与及基准测试，推动对滥用语言检测的研究。

提出的方法

• 采用 OLID 三级分层标注模式：A 级（OFF 与 NOT）、B 级（TIN 与 UNT）、C 级（IND、GRP、OTH）用于目标识别。
• 收集并预处理多语言数据集，将用户提及统一匿名化为 @USER，确保跨语言的一致性。
• 提供超过九百万条英语推文的半监督训练数据集，显著扩展了训练容量。
• 构建了不同规模的测试集，覆盖多种语言，其中英语在所有三个子任务中拥有最大的测试集。
• 通过标准化各语言的数据收集与标注流程，提升数据集的一致性与可比性。
• 通过在五种语言间对齐标注模式与数据格式，促进跨语言迁移学习。

实验结果

研究问题

• RQ1 多语言模型在阿拉伯语、丹麦语、希腊语、土耳其语和英语等多样化语言中检测攻击性语言的有效性如何？
• RQ2 跨语言迁移学习在低资源语言（如丹麦语和希腊语）上的性能提升程度如何？
• RQ3 在多语言环境下，模型能否有效区分有目标的（TIN）与无目标的（UNT）攻击性内容？
• RQ4 该分层标注模式是否可在多种语言中一致应用，以提升模型泛化能力与可解释性？
• RQ5 使用大规模半监督训练数据在攻击性语言检测任务中能带来多大的性能提升？

主要发现

• OffensEval 2020 共吸引 528 支团队参与，其中 145 支提交了正式结果，显示出社区在攻击性语言检测领域的高度参与。
• 该任务共收到 70 篇系统描述论文，表明研究兴趣浓厚且方法论创新活跃。
• 子任务 A、B 和 C 的英语数据集测试集规模可观：A 任务为 3,897 个样本，B 和 C 任务各为 1,922 个样本，支持稳健评估。
• 多语言数据集提供了多样化的语言覆盖，用于跨语言分析：阿拉伯语（2,000 个测试样本）、丹麦语（329 个）、希腊语（1,544 个）和土耳其语（3,528 个）。
• 超过九百万条英语推文的半监督训练数据集显著扩大了可用于模型预训练与微调的数据规模。
• 多个参与系统探索了跨语言迁移学习，显示出利用英语数据提升低资源语言性能的潜力。