[论文解读] Whose Opinions Matter? Perspective-aware Models to Identify Opinions of Hate Speech Victims in Abusive Language Detection

Sohail Akhtar, Valerio Basile+1 more|arXiv (Cornell University)|Jun 30, 2021

Hate Speech and Cyberbullying Detection参考文献 47被引用 27

一句话总结

论文通过按极化（P-index）将评注者分组来开发 perspective-aware 模型，创建面向各组的黄金标准，并使用集成方法改进辱骂性语言检测，包括一个由 hate speech victims 标注的多视角数据集。

ABSTRACT

Social media platforms provide users the freedom of expression and a medium to exchange information and express diverse opinions. Unfortunately, this has also resulted in the growth of abusive content with the purpose of discriminating people and targeting the most vulnerable communities such as immigrants, LGBT, Muslims, Jews and women. Because abusive language is subjective in nature, there might be highly polarizing topics or events involved in the annotation of abusive contents such as hate speech (HS). Therefore, we need novel approaches to model conflicting perspectives and opinions coming from people with different personal and demographic backgrounds. In this paper, we present an in-depth study to model polarized opinions coming from different communities under the hypothesis that similar characteristics (ethnicity, social background, culture etc.) can influence the perspectives of annotators on a certain phenomenon. We believe that by relying on this information, we can divide the annotators into groups sharing similar perspectives. We can create separate gold standards, one for each group, to train state-of-the-art deep learning models. We can employ an ensemble approach to combine the perspective-aware classifiers from different groups to an inclusive model. We also propose a novel resource, a multi-perspective English language dataset annotated according to different sub-categories relevant for characterising online abuse: hate speech, aggressiveness, offensiveness and stereotype. By training state-of-the-art deep learning models on this novel resource, we show how our approach improves the prediction performance of a state-of-the-art supervised classifier.

研究动机与目标

• 通过对 hate speech 标注中的主观性进行建模来动机与解决主体性问题，呈现不同标注者观点。
• 引入基于极化的标注者分组方法以创建分组特定的黄金标准。
• 开发一个多视角的英文数据集，标注者背景包括作为受害者的移民等。
• 在基于视角的数据上训练最先进的模型，并评估相对于基线分类器的改进。
• 分析极化效应和驱动标注者分歧的主题，以为数据集创建和建模提供信息。

提出的方法

• 定义并计算极化指数（P-index）以衡量单条信息的标注者观点极化程度。
• 通过穷举搜索分割点将标注者分成两组，以最大化平均极化度。
• 创建分组级的黄金标准，并在每组数据上训练视角特定分类器。
• 使用一个集成（Inclusive）分类器，将面向视角的分类器结合起来进行包容性预测。
• 在需要时，将训练实例按与 P-index 成反比的比例进行复制，以减少训练数据中的极化。
• 利用基于 transformer 的模型（如 BERT）和最前沿的 NLP 技术，在多视角数据集上训练和评估分类器。

实验结果

研究问题

• RQ1 RQ1: 如何衡量并利用评注者极化将评注者分成不同视角组，是否需要背景信息？
• RQ2 RQ2: 实例级极化度量是否能揭示驱动评注者极化的主题和问题？
• RQ3 RQ3: 在分组视角上进行训练是否提升分类，包容性集成是否能有效地整合各视角？
• RQ4 RQ4: 多视角数据集如何阐明受害者背景在标注辱骂性语言中的作用？

主要发现

• 基于极化的分组和分组特定的黄金标准可以在有监督的辱骂性语言检测中相对于基线方法提升性能。
• P-index 有助于识别高度极化的信息以及与极化相关的主题或关键词。
• 在分组特定数据上训练的视角感知模型在准确率、精确率、召回率和 F1 得分上均优于非视角基线。
• 一个包容性集成分类器，将视角感知模型结合起来是可行的，并符合将仇恨言论视为稀疏、主观现象的认知。
• 由移民及其他背景信息标注的数据集使对极化驱动因素和标注质量有更深的洞察。