[论文解读] Multilingual HateCheck: Functional Tests for Multilingual Hate Speech Detection Models

Paul Röttger, Haitham Seelawi+3 more|arXiv (Cornell University)|Jun 20, 2022

Hate Speech and Cyberbullying Detection被引用 4

一句话总结

多语言仇恨检测（MHC）引入了一个多语言功能测试套件，用于评估10种语言——阿拉伯语、荷兰语、法语、德语、印地语、意大利语、中文、波兰语、葡萄牙语和西班牙语——的仇恨言论检测模型，采用人工精心设计、符合文化背景的测试用例。该方法揭示了模型的关键缺陷，包括对关键词的过度依赖、目标覆盖的偏见以及跨语言迁移的一致性问题，即使在高性能的多语言模型中也存在这些问题。

ABSTRACT

Hate speech detection models are typically evaluated on held-out test sets. However, this risks painting an incomplete and potentially misleading picture of model performance because of increasingly well-documented systematic gaps and biases in hate speech datasets. To enable more targeted diagnostic insights, recent research has thus introduced functional tests for hate speech detection models. However, these tests currently only exist for English-language content, which means that they cannot support the development of more effective models in other languages spoken by billions across the world. To help address this issue, we introduce Multilingual HateCheck (MHC), a suite of functional tests for multilingual hate speech detection models. MHC covers 34 functionalities across ten languages, which is more languages than any other hate speech dataset. To illustrate MHC's utility, we train and test a high-performing multilingual hate speech detection model, and reveal critical model weaknesses for monolingual and cross-lingual applications.

研究动机与目标

• 解决非英语仇恨言论检测模型缺乏诊断性评估工具的问题，这对保护数十亿非英语使用者至关重要。
• 克服传统测试集评估的局限性，后者可能掩盖系统性模型偏见和过于简化的决策规则。
• 开发一个支持多语言的功能测试套件，实现对不同语言和文化背景下模型能力的细粒度、对比性评估。
• 通过识别特定的故障模式，支持开发更具鲁棒性、公平性和泛化能力的多语言仇恨言论检测系统。
• 将英语仇恨检测框架扩展至另外十种语言，由母语专家参与，以确保文化与语言的相关性。

提出的方法

• 在10种语言中设计34个功能测试类别，每个类别包含25至27个针对性测试用例，用于对比仇恨言论与非仇恨言论内容。
• 由母语语言专家基于原始英语仇恨检测框架手工设计测试用例，确保其在目标语言中的文化与语言真实感。
• 通过包含在词汇上模仿仇恨言论的非仇恨内容（例如反制言论或讽刺）来确保对比设计，以挑战依赖关键词匹配的模型。
• 应用MHC套件在单语和跨语言设置（零样本和少样本）下评估微调后的XLM-T模型，以诊断模型缺陷。
• 使用专家标注的测试用例的黄金标准标签来衡量模型在特定功能能力上的表现，而非仅依赖聚合指标。
• 将MHC在GitHub上公开，以支持可复现性及在模型开发与评估中的社区采纳。

实验结果

研究问题

• RQ1 多语言仇恨言论检测模型在10种语言的多样化、对比性且符合文化背景的测试套件上的表现如何？
• RQ2 在多语言环境下，模型在多大程度上表现出对关键词和短语的过度依赖，而非基于上下文的理解？
• RQ3 在不同语言对的零样本和少样本设置下，跨语言迁移的一致性和可靠性如何？
• RQ4 模型在目标覆盖方面存在哪些偏见，特别是在不同语言和文化背景下受保护群体的覆盖方面？
• RQ5 功能测试能否揭示在标准保留测试集评估中被掩盖的模型缺陷？

主要发现

• 多语言XLM-T模型对关键词和短语表现出显著的过度敏感，即使这些词出现在非仇恨语境中也是如此。
• 模型在不同语言中的表现不一致，尤其在对边缘化或污名化群体的目标覆盖方面存在明显偏见。
• 在零样本和少样本设置下，跨语言迁移均存在错误且不可靠，表明模型在不同语言间的泛化能力差。
• 模型未能正确分类模仿仇恨言论的非仇恨内容（例如反制言论），暴露出缺乏上下文理解能力。
• 功能测试揭示了标准保留测试集评估中未显现的模型缺陷，例如在相似语言模式下标签不一致的问题。
• MHC成功识别出高性能模型中的关键故障模式，证明其作为多语言仇恨言论检测诊断工具的价值。