[论文解读] On Measures of Biases and Harms in NLP

Sunipa Dev, Emily Sheng+9 more|arXiv (Cornell University)|Aug 7, 2021

Topic Modeling被引用 9

一句话总结

本文提出了一套实用框架，将自然语言处理（NLP）中的偏见度量与特定社会危害（如抹除、刻板印象化和贬低）对齐，其基础是社会心理学和语言学的分类体系。该框架引入了文档化问题，以明确偏见度量的范围、局限性和预期危害，通过案例研究验证了其有效性，表明相同任务在不同设计选择下可能衡量不同的危害。

ABSTRACT

Recent studies show that Natural Language Processing (NLP) technologies propagate societal biases about demographic groups associated with attributes such as gender, race, and nationality. To create interventions and mitigate these biases and associated harms, it is vital to be able to detect and measure such biases. While existing works propose bias evaluation and mitigation methods for various tasks, there remains a need to cohesively understand the biases and the specific harms they measure, and how different measures compare with each other. To address this gap, this work presents a practical framework of harms and a series of questions that practitioners can answer to guide the development of bias measures. As a validation of our framework and documentation questions, we also present several case studies of how existing bias measures in NLP -- both intrinsic measures of bias in representations and extrinsic measures of bias of downstream applications -- can be aligned with different harms and how our proposed documentation questions facilitates more holistic understanding of what bias measures are measuring.

研究动机与目标

• 解决NLP偏见度量与现实世界社会危害之间缺乏明确对齐的问题。
• 开发一个基于理论的实用框架，用于对NLP系统中的抹除、刻板印象化和非人化等危害进行分类。
• 创建一套标准化的文档化问题，以明确偏见度量的范围、目标人群和局限性。
• 通过案例研究验证该框架，展示即使在同一NLP任务中，不同偏见度量也能捕捉到不同的危害。
• 提高NLP应用中偏见评估方法的透明度和可比性。

提出的方法

• 基于社会心理学和语言学提出一个危害分类体系，包括抹除、刻板印象化、贬低、非人化以及服务质量（QoS）下降。
• 提出10个文档化问题，指导从业者明确偏见度量的目标人群、任务情境、数据集、度量定义及预期危害。
• 将该框架应用于分析43个现有的偏见度量，涵盖共指消解、自然语言推理、情感分析、问答等任务。
• 通过案例研究展示，即使在相同任务中，使用身份术语或职业相关提示的度量也可能针对不同的危害。
• 根据偏见的实现方式（如通过情感、尊重或刻板印象关联）对偏见度量进行分类，并将其映射到特定的危害类型。
• 通过实证验证框架的有效性，表明部分度量因设计选择过于狭窄而混淆了多种危害，或未能捕捉到关键的社会影响。

实验结果

研究问题

• RQ1 如何系统性地将NLP中的偏见度量与诸如抹除或刻板印象化等具体社会危害对齐？
• RQ2 现有偏见度量在不同NLP任务和不同人群之间对'偏见'的实现方式存在哪些关键差异维度？
• RQ3 数据集构建方式、度量定义和目标人群选择的差异如何影响偏见度量所捕捉的危害类型？
• RQ4 当前的偏见评估实践在多大程度上未能涵盖NLP系统中社会危害的完整谱系？
• RQ5 如何改进文档化实践，以使偏见度量对从业者更具透明度、可比性和可操作性？

主要发现

• 该框架成功将43个现有偏见度量映射到具体危害，揭示了多数度量混淆了多种危害类型，或仅聚焦于单一类型（如仅刻板印象化或仅抹除）。
• 使用身份术语的度量通常评估贬低或非人化等危害，而使用职业相关提示的度量则更可能检测到抹除或刻板印象化。
• 即使在同一任务（如共指消解）中，不同度量也能检测到不同危害：例如，Webster等人（2018）的度量衡量的是QoS，而Cao和Daumé III（2020）的度量则同时捕捉到抹除和QoS。
• Sheng等人（2019）使用的尊重度量（regard metric）对社会认知敏感，但可能遗漏通过情感或情绪词分析可检测到的偏见。
• 基于模板的数据构建方法虽然可扩展，但可能引入模板创建者带来的句法和语义偏见，从而限制其泛化能力。
• 单一偏见度量无法涵盖所有危害类型；结合多种度量（如情感、尊重和情绪相关度量）可实现更全面的评估。