[论文解读] Sexism Prediction in Spanish and English Tweets Using Monolingual and Multilingual BERT and Ensemble Models

Angel Felipe Magnossão de Paula, Roberto Fray da Silva+1 more|arXiv (Cornell University)|Nov 8, 2021

Hate Speech and Cyberbullying Detection参考文献 15被引用 5

一句话总结

本文提出了一种基于多语言和单语言 BERT 的集成系统，用于检测和分类西班牙语和英语推文中的性别歧视内容，通过微调 BERT 模型、数据集翻译进行数据增强以及集成策略实现。该系统在 EXIST 2021 共享任务中获得第一名，性别歧视识别任务的准确率为 0.780，F1 分数为 0.780；分类任务的准确率为 0.658，F1-macro 分数为 0.579，分别比多语言 BERT 基线模型高出 3% 和 11%。

ABSTRACT

The popularity of social media has created problems such as hate speech and sexism. The identification and classification of sexism in social media are very relevant tasks, as they would allow building a healthier social environment. Nevertheless, these tasks are considerably challenging. This work proposes a system to use multilingual and monolingual BERT and data points translation and ensemble strategies for sexism identification and classification in English and Spanish. It was conducted in the context of the sEXism Identification in Social neTworks shared 2021 (EXIST 2021) task, proposed by the Iberian Languages Evaluation Forum (IberLEF). The proposed system and its main components are described, and an in-depth hyperparameters analysis is conducted. The main results observed were: (i) the system obtained better results than the baseline model (multilingual BERT); (ii) ensemble models obtained better results than monolingual models; and (iii) an ensemble model considering all individual models and the best standardized values obtained the best accuracies and F1-scores for both tasks. This work obtained first place in both tasks at EXIST, with the highest accuracies (0.780 for task 1 and 0.658 for task 2) and F1-scores (F1-binary of 0.780 for task 1 and F1-macro of 0.579 for task 2).

研究动机与目标

• 为解决在多语言社交媒体中识别和分类性别歧视内容的挑战，特别是在西班牙语和英语中的应用。
• 通过整合单语言 BERT、数据翻译和集成学习策略，改进多语言 BERT 模型基线。
• 评估不同集成配置在提升性别歧视检测与分类性能方面的有效性。
• 提供一种可扩展且可适应的框架，用于在低资源和高资源语言中部署性别歧视检测系统。
• 基于专家标注数据集，利用最先进的 NLP 技术建立性别歧视识别与分类的基准。

提出的方法

• 在 EXIST 2021 数据集上对英语和西班牙语的单语言 BERT 模型进行微调，以提升语言特定的表征学习能力。
• 将多语言 BERT 作为基线模型，并与单语言及集成模型的性能进行比较。
• 通过数据回译（back-translation）扩大训练数据规模，提升模型在跨语言任务中的泛化能力。
• 实施简单的平均集成策略，结合多个独立模型的预测结果，包括标准化标签投票机制。
• 通过广泛的消融实验优化超参数，并使用官方指标（任务 1 的准确率和任务 2 的 F1-macro）评估模型性能。
• 使用最终的集成模型，结合所有独立模型以及最佳标准化标签值，生成最终预测结果。

实验结果

研究问题

• RQ1 与多语言 BERT 相比，使用单语言 BERT 模型是否能提升性别歧视检测与分类的性能？
• RQ2 通过回译进行数据翻译是否能提升低资源语言任务中的模型性能？
• RQ3 结合多种 BERT 变体和预测策略的集成模型是否优于单个模型？
• RQ4 在最大化性别歧视识别与分类任务的 F1 分数和准确率方面，最优的集成配置是什么？
• RQ5 超参数的选择如何影响不同语言和任务设置下的模型性能？

主要发现

• 结合所有独立模型及最佳标准化标签值的集成模型在 EXIST 2021 共享任务的两个任务中均取得最高性能，获得第一名。
• 在性别歧视识别任务中，系统实现了 0.780 的准确率和 0.780 的 F1 分数，比多语言 BERT 基线模型的 F1 分数高出约 3%。
• 在性别歧视分类任务中，集成模型达到 0.658 的准确率和 0.579 的 F1-macro 分数，相比多语言 BERT 基线模型在 F1-macro 上提升了 11%。
• 集成模型始终优于单个单语言和多语言 BERT 模型，证明了在此情境下模型平均策略的有效性。
• 使用翻译后的训练数据提升了模型的泛化能力，尤其是在低资源设置下，但主要性能提升仍来自集成融合。
• 超参数分析表明，标签标准化和投票策略对最终预测质量有显著影响，尤其是在多分类任务中。