[论文解读] Undesirable Biases in NLP: Addressing Challenges of Measurement

Oskar van der Wal, Dominik Bachmann+4 more|arXiv (Cornell University)|Nov 24, 2022

Topic Modeling被引用 5

一句话总结

本文应用心理测量学原理——特别是建构效度和信度——以改进自然语言处理（NLP）模型中偏见的测量方法。通过将偏见视为一种不可观测的构念，并严格评估其操作化过程，作者提出了一套框架，用于设计更可信、更透明且方法论更严谨的NLP偏见测量工具。

ABSTRACT

As Large Language Models and Natural Language Processing (NLP) technology rapidly develop and spread into daily life, it becomes crucial to anticipate how their use could harm people. One problem that has received a lot of attention in recent years is that this technology has displayed harmful biases, from generating derogatory stereotypes to producing disparate outcomes for different social groups. Although a lot of effort has been invested in assessing and mitigating these biases, our methods of measuring the biases of NLP models have serious problems and it is often unclear what they actually measure. In this paper, we provide an interdisciplinary approach to discussing the issue of NLP model bias by adopting the lens of psychometrics -- a field specialized in the measurement of concepts like bias that are not directly observable. In particular, we will explore two central notions from psychometrics, the construct validity and the reliability of measurement tools, and discuss how they can be applied in the context of measuring model bias. Our goal is to provide NLP practitioners with methodological tools for designing better bias measures, and to inspire them more generally to explore tools from psychometrics when working on bias measurement tools.

研究动机与目标

• 解决NLP模型中偏见测量缺乏可靠与有效方法的问题，因为这会削弱偏见检测与缓解工作的成效。
• 指出当前的偏见测量工具往往缺乏实证基础，与下游危害的相关性不足，或在不同情境下缺乏一致性。
• 引入心理测量学作为严谨框架，以评估并提升NLP中偏见测量工具的质量。
• 通过整合心理学、语言学和社会科学的洞见，促进跨学科合作，推动NLP偏见研究的发展。
• 鼓励NLP研究人员采用如建构效度与信度等心理测量学概念，以增强偏见评估的透明度与方法论严谨性。

提出的方法

• 将NLP中的偏见视为一种不可观测的心理构念，类似于心理测量学中的人格特质（如智力或自我控制）。
• 应用心理测量学中构念（如“性别偏见”）与其操作化形式（如词语类比任务）之间的区分，以明确测量目标。
• 评估偏见测量的信度，即在不同输入、模型或测量实例中的一致性。
• 通过检验测量结果与其他相关测量的相关性以及是否符合偏见的理论预期，来评估建构效度。
• 提出一组基于心理测量学原则的指导性问题，用于设计偏见测量工具，强调透明性与可辩护的假设。
• 强调在工具设计中纳入领域专家与利益相关者的重要性，尤其是在语言与文化背景多样的情境中。

实验结果

研究问题

• RQ1 心理测量学概念（如建构效度与信度）如何被有意义地应用于NLP模型中偏见的测量？
• RQ2 当前的NLP偏见测量工具在多大程度上表现出信度与建构效度？
• RQ3 不同偏见操作化形式背后的关键假设是什么？它们如何影响测量结果？
• RQ4 跨学科合作如何改善NLP中偏见测量工具的设计与评估？
• RQ5 在不同语言与文化背景下转移偏见测量工具存在哪些局限性？又该如何应对？

主要发现

• 许多现有的NLP偏见测量工具缺乏信度与建构效度的实证证据，令人对其可信度产生质疑。
• 许多广泛使用的偏见测量工具与实际的下游危害之间相关性微弱甚至不存在，表明它们可能并未测量其所声称的内容。
• 区分偏见构念与其操作化形式对于避免概念混淆、提升测量透明度至关重要。
• 心理测量学原则为评估与改进NLP中偏见测量工具的质量提供了稳健的框架。
• 为某一语言或文化背景设计的偏见测量工具无法可靠地推广至其他情境，凸显了开发情境特定工具的必要性。
• 在测量设计过程中纳入社会科学家、语言学家及利益相关者，对于应对偏见的社会文化细微差别与规范维度至关重要。