[论文解读] NLPDove at SemEval-2020 Task 12: Improving Offensive Language Detection with Cross-lingual Transfer

Hwijeen Ahn, Jimin Sun+2 more|arXiv (Cornell University)|Aug 4, 2020

Hate Speech and Cyberbullying Detection参考文献 31被引用 5

一句话总结

该论文提出 NLPDove，一种多语言攻击性语言检测系统，通过跨语言迁移和数据增强技术提升 SemEval-2020 任务 12 的性能。该方法引入了翻译嵌入距离（TED）以从其他语言中选择可迁移的样本，并通过语言特定的预处理增强 mBERT 微调，最终在希腊语（第1名）、丹麦语（第3名）和土耳其语（第5名）中取得最先进结果。

ABSTRACT

This paper describes our approach to the task of identifying offensive languages in a multilingual setting. We investigate two data augmentation strategies: using additional semi-supervised labels with different thresholds and cross-lingual transfer with data selection. Leveraging the semi-supervised dataset resulted in performance improvements compared to the baseline trained solely with the manually-annotated dataset. We propose a new metric, Translation Embedding Distance, to measure the transferability of instances for cross-lingual data selection. We also introduce various preprocessing steps tailored for social media text along with methods to fine-tune the pre-trained multilingual BERT (mBERT) for offensive language identification. Our multilingual systems achieved competitive results in Greek, Danish, and Turkish at OffensEval 2020.

研究动机与目标

• 解决在低资源多语言环境下仅提供二元攻击性/非攻击性标签时的攻击性语言检测挑战。
• 通过利用半监督标签和跨语言数据迁移，提升模型的泛化能力和鲁棒性。
• 克服仅依赖攻击性词汇存在的局限性，通过数据增强和预处理促进上下文理解。
• 研究针对嘈杂社交媒体文本的多语言 BERT 微调与定制化预处理的有效性。
• 开发一种可靠度量方法，量化跨语言间样本的可迁移性，以实现跨语言学习中的有效数据选择。

提出的方法

• 通过筛选并整合来自半监督数据集的高置信度预测结果到训练集中，对英语实施数据增强。
• 提出一种新颖的度量指标——翻译嵌入距离（TED），用于衡量源语言与目标语言样本之间的语义相似性，以实现跨语言数据选择。
• 实施语言特定的预处理流程，以处理社交媒体文本中的噪声，包括用户提及、URL、话题标签和表情符号。
• 通过使用多个表示层、池化机制和随机种子对多语言 BERT（mBERT）进行微调，以提升鲁棒性。
• 构建结合多种 mBERT 变体的集成模型，以增强预测稳定性和性能。
• 在训练过程中对攻击性词汇进行掩码处理，以促进上下文感知学习，但该方法未带来定量性能提升。

实验结果

研究问题

• RQ1 在低资源环境下，利用模型预测生成的半监督标签能否提升攻击性语言检测性能？
• RQ2 在跨语言迁移中，通过跨语言选择可迁移样本，其有效性如何？
• RQ3 所提出的翻译嵌入距离（TED）度量在跨语言迁移中的数据选择方面，其改进程度如何？
• RQ4 针对社交媒体文本的定制化预处理在处理嘈杂非正式语言时，能否提升模型性能？
• RQ5 在训练过程中对攻击性词汇进行掩码处理，能否提升上下文理解能力并减少对词汇线索的依赖？

主要发现

• 使用半监督标签的模型性能优于仅使用人工标注数据训练的基线模型。
• 所提出的 TED 度量能有效识别可迁移样本，从而提升跨语言迁移的性能。
• 采用多样化池化机制和随机种子的 mBERT 模型集成取得了优异结果，希腊语（第1名）宏 F1 得分为 0.85，丹麦语（第3名）为 0.79，土耳其语（第5名）为 0.80。
• 尽管进行了努力，训练过程中对词汇的掩码处理并未提升性能，甚至可能造成损害，可能是因为真正具有攻击性的词汇被过度掩码。
• 定性分析显示，即使在非攻击性语境中，模型仍过度依赖攻击性词汇，例如在 "f*cking awesome" 等短语中。
• 该系统在英语（第15名/86支）和阿拉伯语（第20名/54支）中也取得了具有竞争力的结果，表明该方法在不同资源水平的语言间具有可扩展性。