[论文解读] Placing M-Phasis on the Plurality of Hate: A Feature-Based Corpus of Hate Online

Dana Ruiter, Liane Reiners+7 more|arXiv (Cornell University)|Apr 28, 2022

Hate Speech and Cyberbullying Detection被引用 4

一句话总结

本文提出了 M-Phasis，一个包含约 9,000 条德语和法语用户评论的多语言、基于特征的语料库，这些评论来自与移民相关的新闻文章，标注了 23 种细致的仇恨言论特征，而非二元的仇恨/中性标签。该语料库支持对仇恨言论类型的细粒度分析，包括隐含和显性的表达形式，并揭示了主流媒体与边缘媒体之间在领域上的显著差异，影响了分类器的性能，尤其是在代表性不足的边缘内容上表现更差。

ABSTRACT

Even though hate speech (HS) online has been an important object of research in the last decade, most HS-related corpora over-simplify the phenomenon of hate by attempting to label user comments as "hate" or "neutral". This ignores the complex and subjective nature of HS, which limits the real-life applicability of classifiers trained on these corpora. In this study, we present the M-Phasis corpus, a corpus of ~9k German and French user comments collected from migration-related news articles. It goes beyond the "hate"-"neutral" dichotomy and is instead annotated with 23 features, which in combination become descriptors of various types of speech, ranging from critical comments to implicit and explicit expressions of hate. The annotations are performed by 4 native speakers per language and achieve high (0.77 <= k <= 1) inter-annotator agreements. Besides describing the corpus creation and presenting insights from a content, error and domain analysis, we explore its data characteristics by training several classification baselines.

研究动机与目标

• 为解决现有语料库中对仇恨言论（HS）的过度简化问题，这些语料库通常将其简化为二元的仇恨/中性标签。
• 创建一个高质量、多语言的语料库，以捕捉在线仇恨言论的复杂性和语境性，特别是隐含形式。
• 通过包含来自多样化德语和法语新闻媒体的评论，支持跨文化和跨媒体的比较研究。
• 通过提供丰富、多维的标注，支持开发更具鲁棒性、上下文敏感的仇恨言论分类器。
• 量化主流媒体与边缘媒体在用户评论中的领域偏差，并分析其对模型泛化能力的影响。

提出的方法

• 使用基于关键词的过滤方法（正则表达式）从与移民相关的新闻文章中收集用户评论，以确保主题相关性，避免依赖辱骂性词汇列表。
• 开发了一套基于特征的标注方案，包含 23 种不同的仇恨言论相关特征，包括负面/正面评价、群体对比和情感表达。
• 每条评论由每种语言的四位母语者进行标注，实现了较高的标注者间一致性（kappa ≥ 0.77）。
• 语料库包含完整的评论线程，以保留对话上下文，支持上下文敏感的分析。
• 使用 BERT 基础模型（含和不含中间掩码语言建模）在从 23 个特征中衍生出的多个子任务上训练分类基线。
• 使用通用句子编码器嵌入和余弦相似度量化领域差异，并通过 K-Means 聚类验证主流媒体与边缘媒体之间的划分。

实验结果

研究问题

• RQ1 在德语和法语媒体中，仇恨言论的不同类型——显性、隐性、批判性或情绪化表达——在与移民相关的网络话语中如何表现？
• RQ2 媒体机构的政治取向（主流 vs. 边缘）在多大程度上塑造了用户评论的语言和情感特征？
• RQ3 训练数据中的领域偏差（例如主流媒体内容过量代表）在多大程度上影响了仇恨言论分类器对代表性不足媒体类型的表现？
• RQ4 中间掩码语言建模（MLM）预训练对仇恨言论分类器在多样化媒体领域中的泛化能力有何影响？
• RQ5 现实网络话语中，仇恨言论的 23 个特征维度之间存在怎样的相关性？

主要发现

• M-Phasis 语料库包含约 9,000 条德语和法语的用户评论，来自多样化的新闻媒体，标注了 23 个仇恨言论相关特征，标注者间一致性高（kappa ≥ 0.77）。
• 在德语数据上，分类器在边缘媒体评论上的表现显著低于主流媒体，尤其是在使用中间 MLM 预训练微调的模型中，表明领域偏差的传播。
• 德语评论数据呈现出明显的领域划分：77.2% 的评论来自主流媒体，造成数据不平衡，对代表性不足的边缘内容的模型泛化能力产生负面影响。
• 在法语中，出现了三元领域划分（边缘、主流、知识分子型），其中 55.5% 的评论来自主流或知识分子型媒体，表明其媒体分布比德语更均衡。
• 对德语评论嵌入进行 K-Means 聚类（k=2）完美恢复了人工划分的主流/边缘媒体区别，证实语言差异与媒体类型一致。
• 错误分析显示，模型在处理涉及隐性仇恨言论和微妙评价语言的子任务上表现最差，凸显了捕捉超越显性辱骂的细微仇恨言论的挑战。