[论文解读] Walk in Wild: An Ensemble Approach for Hostility Detection in Hindi Posts

Chander Shekhar, Bhavya Bagla+2 more|arXiv (Cornell University)|Jan 15, 2021

Hate Speech and Cyberbullying Detection参考文献 8被引用 7

一句话总结

本文提出了一种结合 mBERT、XGBoost 和 ANN 的集成模型，用于检测印地语社交媒体内容中的敌意行为，以应对低资源语言的挑战。在二分类任务中，加权 F1 分数达到约 0.969，在细粒度多标签分类任务中达到约 0.615，该模型在印地语敌意行为检测竞赛中获得第三名。

ABSTRACT

As the reach of the internet increases, pejorative terms started flooding over social media platforms. This leads to the necessity of identifying hostile content on social media platforms. Identification of hostile contents on low-resource languages like Hindi poses different challenges due to its diverse syntactic structure compared to English. In this paper, we develop a simple ensemble based model on pre-trained mBERT and popular classification algorithms like Artificial Neural Network (ANN) and XGBoost for hostility detection in Hindi posts. We formulated this problem as binary classification (hostile and non-hostile class) and multi-label multi-class classification problem (for more fine-grained hostile classes). We received third overall rank in the competition and weighted F1-scores of ~0.969 and ~0.61 on the binary and multi-label multi-class classification tasks respectively.

研究动机与目标

• 为解决印地语等低资源、高多样性语言在敌意行为检测方面缺乏强大工具和数据集的挑战。
• 开发一个稳健且可扩展的系统，用于检测印地语社交媒体上的敌意内容，如仇恨言论、虚假新闻和诽谤。
• 通过利用多语言预训练模型和集成学习，提升低资源语言 NLP 任务的性能。
• 通过模型集成和微调表示，缓解类别不平衡问题，并提升细粒度分类性能。
• 通过参与并取得优异成绩的公开竞赛，为未来印地语毒性检测研究提供基准。

提出的方法

• 预处理包括移除 URL，同时保留表情符号和话题标签，随后使用 mBERT 的分词器进行分词，序列长度限制为 128。
• 通过 mBERT 的 [CLS] 标记嵌入（原始表示）和下游训练后的微调表示提取上下文表示。
• 采用两阶段分类框架：粗粒度（二分类：敌意/非敌意）和细粒度（多标签：虚假新闻、仇恨言论、冒犯性内容、诽谤）。
• 使用 mBERT 嵌入作为输入，训练多种模型：人工神经网络（ANN）、XGBoost 和逻辑回归，并进行超参数调优。
• 集成模型通过基于各模型 F1 分数的加权平均，结合四个独立提交结果，最终输出计算公式为：$ \hat{O_{ij}} = \frac{\sum_{i=1}^{4} \sum_{j=1}^{n} O_{ij} \times ff1_i}{\sum_{i=1}^{4} ff1_i} $。
• 微调后的表示始终优于原始表示，在细粒度分类任务中使加权 F1 分数提升 0.24。

实验结果

研究问题

• RQ1 mBERT、XGBoost 和 ANN 模型的集成能否有效检测低资源印地语社交媒体内容中的敌意行为？
• RQ2 微调 mBERT 表示对印地语中二分类和多标签敌意行为检测任务的性能有何影响？
• RQ3 在低资源环境下，通过集成学习结合不同分类器（如 XGBoost 与 ANN）时，其相对贡献如何？
• RQ4 类别不平衡如何影响模型性能？集成方法能否缓解印地语敌意行为检测中的这一问题？
• RQ5 表情符号和话题标签等特征在印地语帖子中对准确检测敌意行为的贡献有多大？

主要发现

• 所提出的集成模型在粗粒度（二分类）任务中取得了 0.969 的加权 F1 分数，在竞赛中排名第三。
• 在细粒度多标签分类任务中，最佳提交结果在验证集上的加权 F1 分数为 0.6149，在测试集上为 0.6088。
• 与原始表示相比，微调后的 mBERT 表示在细粒度分类任务中使加权 F1 分数提升了 0.24。
• 该模型在所有敌意类别中均显著优于基线模型（如 SVM、随机森林、逻辑回归），尤其在虚假新闻和冒犯性内容检测方面表现突出。
• 诽谤类别的 F1 分数最低，因其训练集较小，表明即使使用强大的预训练模型，数据稀缺仍是主要挑战。
• 提交-4 通过使用四个模型的加权集成，实现了细粒度分类的最高性能，证明了基于 F1 分数加权的集成平均方法的有效性。