[论文解读] One to rule them all: Towards Joint Indic Language Hate Speech Detection

Mehar Bhatia, Tenzin Singhay Bhotia+6 more|arXiv (Cornell University)|Sep 28, 2021

Hate Speech and Cyberbullying Detection参考文献 21被引用 9

一句话总结

本文提出了一种使用 XLM-RoBERTa 的多语言微调方法，联合检测英语、印地语和马拉地语中的仇恨和冒犯性言论，在 HASOC 2021 共享任务中取得了最先进结果，子任务 1A 的宏平均 F1 分数分别为 0.7996（英语）、0.7748（印地语）和 0.8651（马拉地语），证明了多语言训练在低资源印度语言中的优越性。

ABSTRACT

This paper is a contribution to the Hate Speech and Offensive Content Identification in Indo-European Languages (HASOC) 2021 shared task. Social media today is a hotbed of toxic and hateful conversations, in various languages. Recent news reports have shown that current models struggle to automatically identify hate posted in minority languages. Therefore, efficiently curbing hate speech is a critical challenge and problem of interest. We present a multilingual architecture using state-of-the-art transformer language models to jointly learn hate and offensive speech detection across three languages namely, English, Hindi, and Marathi. On the provided testing corpora, we achieve Macro F1 scores of 0.7996, 0.7748, 0.8651 for sub-task 1A and 0.6268, 0.5603 during the fine-grained classification of sub-task 1B. These results show the efficacy of exploiting a multilingual training scheme.

研究动机与目标

• 解决在印地语和马拉地语等低资源印度语言中检测仇恨和冒犯性言论的挑战，因为现有模型通常表现不佳。
• 通过探索联合多语言微调来克服单语模型的局限性，以提高跨语言的泛化能力。
• 开发并评估一个针对多种印度语言社交媒体文本的鲁棒预处理管道。
• 研究数据增强和替代架构在处理类别不平衡数据集时的有效性，以提升性能。
• 在 HASOC 2021 共享任务中，针对英语、印地语和马拉地语的仇恨和冒犯性内容检测，实现具有竞争力的结果。

提出的方法

• 采用 XLM-RoBERTa，一种基于多语言 Transformer 的语言模型，对英语、印地语和马拉地语进行联合微调。
• 实施联合多语言训练方案，使同一模型同时在三种语言上进行微调，以共享语言表征。
• 实施预处理管道以规范化社交媒体文本，包括处理表情符号、俚语和印度语言中常见的混合脚本内容。
• 使用类别平衡技术（如 SOUP，基于相似性的过采样与欠采样）来缓解训练集中类别不平衡的问题。
• 通过 Google 的神经机器翻译 API 进行回译数据增强，以扩大训练数据规模，尽管该方法导致性能下降。
• 在多个模型（包括 mBERT 和 DistilBERT）上对比单语和多语言微调策略，以分离多语言预训练带来的优势。

实验结果

研究问题

• RQ1 一个单一的多语言 Transformer 模型能否在英语、印地语和马拉地语中实现对仇恨和冒犯性言论的联合检测，并取得相当的性能？
• RQ2 在低资源印度语言中，多语言微调与单语微调相比，在 F1 分数和鲁棒性方面表现如何？
• RQ3 像回译这样的数据增强技术在低资源仇恨言论检测中在多大程度上能提升模型泛化能力？
• RQ4 为何某些经典 NLP 方法（如 TF-IDF、SVM、随机森林）在印度语言的社交媒体文本上表现不如基于 Transformer 的模型？
• RQ5 将多语言模型适配到低资源、低资源印度语言时面临哪些关键挑战，尤其是在标注数据有限的情况下？

主要发现

• 多语言微调的 XLM-RoBERTa 模型在子任务 1A 的马拉地语上取得了最高的宏平均 F1 分数 0.8651，优于所有其他模型和方法。
• 在子任务 1A 中，多语言 XLM-RoBERTa 模型的宏平均 F1 分数分别为 0.7996（英语）、0.7748（印地语）和 0.8651（马拉地语），在 HASOC 2021 排行榜上获得该任务的第一名。
• 与单语微调相比，多语言方法在子任务 1A 上实现了 2.1 个百分点的绝对 F1 分数提升，证明了共享表征学习的有效性。
• 通过回译进行数据增强导致性能下降，并引入了错误标签，表明存在潜在的分布偏移和可靠性问题。
• 与最佳的基于 Transformer 的模型相比，经典模型（如随机森林和 LightGBM）平均性能下降了 5.3%，凸显了传统机器学习方法在社交媒体文本上的局限性。
• 尽管使用了 SOUP 进行类别平衡，性能仍比最佳模型下降了 5%，表明类别不平衡本身并非此场景下的主要瓶颈。