[论文解读] Toxic Language Detection in Social Media for Brazilian Portuguese: New Dataset and Multilingual Analysis

João Leite, Diego Furtado Silva+2 more|arXiv (Cornell University)|Oct 9, 2020

Hate Speech and Cyberbullying Detection参考文献 10被引用 43

一句话总结

介绍 ToLD-Br，一个包含人口统计感知注释的大规模巴西葡萄牙语 Toxic 语言 Twitter 数据集，并分析单语 vs 多语 BERT 模型在二分类和多标签有毒评论分类中的表现。

ABSTRACT

Hate speech and toxic comments are a common concern of social media platform users. Although these comments are, fortunately, the minority in these platforms, they are still capable of causing harm. Therefore, identifying these comments is an important task for studying and preventing the proliferation of toxicity in social media. Previous work in automatically detecting toxic comments focus mainly in English, with very few work in languages like Brazilian Portuguese. In this paper, we propose a new large-scale dataset for Brazilian Portuguese with tweets annotated as either toxic or non-toxic or in different types of toxicity. We present our dataset collection and annotation process, where we aimed to select candidates covering multiple demographic groups. State-of-the-art BERT models were able to achieve 76% macro-F1 score using monolingual data in the binary case. We also show that large-scale monolingual data is still needed to create more accurate models, despite recent advances in multilingual approaches. An error analysis and experiments with multi-label classification show the difficulty of classifying certain types of toxic comments that appear less frequently in our data and highlights the need to develop models that are aware of different categories of toxicity.

研究动机与目标

• 从 Twitter 创建一个大规模的巴西葡萄牙语有毒语言数据集（ToLD-Br），并附带人口统计感知的注释。
• 分析单语 BERT 与多语种 BERT 模型在二元有毒评论分类上的有效性。
• 在多语言设置中研究迁移学习与零-shot 学习在有毒检测中的作用。
• 探讨该语言中多标签有毒分类的数据需求与挑战。
• 提供关于注释一致性、标签多样性以及模型错误模式的见解，以指导未来研究。

提出的方法

• 使用关键词、话题标签和影响者策略收集超过1000万条推文；对21,000条推文进行标注，涵盖七个有毒性类别。
• 计算 Krippendorff’s α 以评估评注者之间的一致性并分析注释分歧。
• 训练并评估基线的词袋+AutoML 模型以及多种基于 BERT 的分类器（巴西葡萄牙语 BR-BERT 与多语言 MBERT-BR）。
• 执行单语（葡萄牙语）微调；在多语言设置中尝试使用 OLID 英文数据进行迁移学习和零-shot 学习。
• 分析训练数据量对二元有毒性表现的影响，并开展初步的多标签分类实验。
• 按有毒性类型提供错误分析，并讨论数据不平衡影响与注释者一致性。

实验结果

研究问题

• RQ1 在 ToLD-Br 上，单语巴西葡萄牙语 BERT 模型用于二分类有毒评论检测的有效性如何，与多语言模型相比？
• RQ2 通过迁移学习或零-shot 学习引入英文数据是否提升巴西葡萄牙语的有毒检测？
• RQ3 训练数据量如何影响二分类性能，特别是对较少数的有毒类别？
• RQ4 ToLD-Br 中多标签有毒分类面临哪些挑战，模型在不同类别上的表现有何差异？
• RQ5 评注者的人口统计特征和标签一致性如何影响数据集质量和模型训练？

主要发现

• 单语巴西葡萄牙语 BERT 模型（M-BERT-BR）在所测试的方法中达到最高的宏平均F1（约76%），比其他模型的假阴性更少。
• 单语 BR-BERT 的表现与 M-BERT-BR 相当，且在宏F1上常略优，表明语言特定数据仍具优势。
• 来自英文 OLID 数据的迁移学习（M-BERT(transfer)）并不优于单语模型，且产生更多假阴性。
• 零-shot 学习（M-BERT(zero-shot)）表现不佳，尤其是有毒（阳性）类别，宏F1 约0.56。
• BoW+AutoML 提供了强基线，宏F1 约0.74，表现与深度学习相比具有竞争力。
• 增加训练数据可以同时提升有毒类别的精确度和召回率，约需要6千条样本以实现更可靠的结果；由于数据不平衡，少数类别仍然具有挑战性。
• 多标签分类显著更难；样本量大的标签（侮辱、猥亵）表现优于样本稀少的标签（种族主义、排外、LGBTQ+恐惧）。