[论文解读] Toxicity Detection for Indic Multilingual Social Media Content

Manan Jhaveri, Devanshu Ramaiya+1 more|arXiv (Cornell University)|Jan 3, 2022

Hate Speech and Cyberbullying Detection被引用 5

一句话总结

本论文提出了一种用于印地语社交媒体内容的多语言毒性检测系统，采用XLM-RoBERTa与MuRIL的集成学习方法，结合音译数据、元数据特征及语言特定的阈值调优，最终在IIIT-D多语言辱骂性评论识别挑战赛中取得了0.90005的SOTA平均F1分数。

ABSTRACT

Toxic content is one of the most critical issues for social media platforms today. India alone had 518 million social media users in 2020. In order to provide a good experience to content creators and their audience, it is crucial to flag toxic comments and the users who post that. But the big challenge is identifying toxicity in low resource Indic languages because of the presence of multiple representations of the same text. Moreover, the posts/comments on social media do not adhere to a particular format, grammar or sentence structure; this makes the task of abuse detection even more challenging for multilingual social media platforms. This paper describes the system proposed by team 'Moj Masti' using the data provided by ShareChat/Moj in \emph{IIIT-D Multilingual Abusive Comment Identification} challenge. We focus on how we can leverage multilingual transformer based pre-trained and fine-tuned models to approach code-mixed/code-switched classification tasks. Our best performing system was an ensemble of XLM-RoBERTa and MuRIL which achieved a Mean F-1 score of 0.9 on the test data/leaderboard. We also observed an increase in the performance by adding transliterated data. Furthermore, using weak metadata, ensembling and some post-processing techniques boosted the performance of our system, thereby placing us 1st on the leaderboard.

研究动机与目标

• 解决在多语言社交媒体平台上检测低资源印地语语言毒性内容的挑战。
• 提升对混合编码和非正式社交媒体文本中的滥用内容检测能力，此类文本通常缺乏标准语法和结构。
• 利用在多样化印度语语料库上预训练的多语言Transformer模型，适用于低资源语言场景。
• 通过使用音译文本进行数据增强以及整合弱元数据特征，提升模型性能。
• 通过语言特定的概率阈值和后处理技术优化推理过程。

提出的方法

• 在包含13种语言的66.5万条以上标注的印地语社交媒体评论的多语言数据集上微调XLM-RoBERTa与MuRIL模型。
• 在训练数据上应用掩码语言建模（MLM）预训练，使下游F1分数从0.87提升至0.88。
• 通过整合测试样本的音译版本增强训练数据，将预测结果以7:3的加权比例结合。
• 构建由多种模型（XLM-RoBERTa、MuRIL及其他）组成的集成模型，采用等权重策略，以提升泛化能力并降低误差相关性。
• 通过特征工程整合弱元数据（如举报次数、点赞数、评论长度等），并使用梯度提升分类器（XGBoost、CatBoost）进行训练。
• 通过应用语言特定的概率阈值（如马拉地语为0.6，古吉拉特语为0.4）以及将预测概率提升0.01，优化推理过程以修正边缘情况。

实验结果

研究问题

• RQ1 XLM-RoBERTa与MuRIL等多语言Transformer模型在检测具有混合编码和非正式语法的低资源印地语语言中的毒性内容时，效果如何？
• RQ2 通过音译进行数据增强在多语言毒性检测中在多大程度上提升了模型泛化能力？
• RQ3 当与深度学习预测结果结合时，报告次数和点赞数等弱元数据在多大程度上能提升模型性能？
• RQ4 在多语言设置中，语言特定的推理阈值对F1分数有何影响？
• RQ5 在低资源NLP任务中，使用多样化模型（包括非预训练模型）的集成学习在多大程度上提升了鲁棒性与性能？

主要发现

• XLM-RoBERTa与MuRIL的集成模型在测试集上取得了0.90005的最高平均F1分数，位列排行榜首位。
• 通过掩码语言建模进行预训练，使基线F1分数从0.87提升至0.88，证明了自监督预训练的价值。
• 引入音译数据显著提升了模型泛化能力，尤其对训练样本有限的低资源语言效果明显。
• 基于元数据的特征工程与提升模型（XGBoost、CatBoost）显著增强了预测性能，XGBoost与CatBoost的交叉验证平均分数分别达到0.9051与0.9052。
• 采用语言特定的推理阈值（如马拉地语为0.6，古吉拉特语为0.4）以及0.01的概率提升，带来了可测量的性能提升。
• 出人意料的是，尽管MuRIL是专门针对印度文本微调的模型，但其作为独立模型表现不佳，但在集成中贡献了宝贵的多样性。