[论文解读] Trustworthy Social Bias Measurement

Rishi Bommasani, Percy Liang|arXiv (Cornell University)|Dec 20, 2022

Hate Speech and Cyberbullying Detection被引用 5

一句话总结

本文提出了一套可信的框架，用于使用社会科学中的测量建模方法来衡量自然语言处理（NLP）中的社会偏见。它引入了DivDist，一种通用的偏见测量框架，确保在不同NLP场景和多组比较中具有兼容性，并通过严格的8项标准测试协议验证其测量结果，证明其经验有效性优于以往方法，包括与现实世界就业趋势的相关性以及对GPT-2中偏见放大的检测。

ABSTRACT

How do we design measures of social bias that we trust? While prior work has introduced several measures, no measure has gained widespread trust: instead, mounting evidence argues we should distrust these measures. In this work, we design bias measures that warrant trust based on the cross-disciplinary theory of measurement modeling. To combat the frequently fuzzy treatment of social bias in NLP, we explicitly define social bias, grounded in principles drawn from social science research. We operationalize our definition by proposing a general bias measurement framework DivDist, which we use to instantiate 5 concrete bias measures. To validate our measures, we propose a rigorous testing protocol with 8 testing criteria (e.g. predictive validity: do measures predict biases in US employment?). Through our testing, we demonstrate considerable evidence to trust our measures, showing they overcome conceptual, technical, and empirical deficiencies present in prior measures.

研究动机与目标

• 解决现有NLP偏见测量方法因概念、技术及经验缺陷而导致的可信度不足问题。
• 基于社会科学原则明确定义社会偏见，超越模糊或不一致的定义。
• 设计一种通用、兼容且支持多组比较的偏见测量框架（DivDist），适用于文本、嵌入表示和上下文表征。
• 建立基于测量建模理论的严格、标准化测试协议，以验证偏见测量方法。
• 证明当前去偏方法可能失效，甚至加剧偏见，从而质疑其假设的有效性。

提出的方法

• 基于社会科学原则定义社会偏见，明确将其视为依赖于规范参照框架的相对现象。
• 提出DivDist，一种基于概率分布间统计差异的通用框架，用于衡量不同NLP表示中的偏见。
• 通过确保在多样化NLP场景（如文本、词嵌入、上下文表征）中保持一致的测量，实现兼容性。
• 支持多组偏见测量，超越二元组比较，允许采用多元规范参照。
• 设计一个基于测量建模理论的8项标准测试协议（如预测效度、收敛效度等），用于验证偏见测量方法。
• 通过真实世界数据（如美国就业趋势）和模型行为（如GPT-2）的实证测试，评估测量方法的性能。

实验结果

研究问题

• RQ1 如何在理论上严谨且具有实证可操作性的基础上定义NLP中的社会偏见？
• RQ2 一个偏见测量方法必须满足哪些标准，才能在NLP中被视为可信？
• RQ3 能否设计一种通用框架，确保在不同NLP表示中实现一致且可比较的偏见测量？
• RQ4 现有偏见测量方法在效度、可靠性及概念一致性方面存在多大程度的失效？
• RQ5 当前的去偏方法是否真正减少了偏见，还是在更严格的评估下失效甚至加剧了偏见？

主要发现

• 词嵌入偏见测量与现实世界美国就业趋势高度相关，而部分先前的测量方法则无相关性甚至呈现负相关，表明其具有更优的预测效度。
• GPT-2的表征相对于其训练数据表现出偏见放大，尽管这种放大作用在采样过程中保持潜伏且未被察觉，凸显了偏见检测中的关键漏洞。
• 根据所提出的测量方法，去偏方法往往未能减少偏见，甚至有时会增加偏见，从而对其有效性和意义提出质疑。
• 所提出的测试协议成功识别出先前测量方法中的概念与经验缺陷，如缺乏预测效度和可靠性。
• DivDist框架实现了在多种NLP场景中的一致且可比较的偏见测量，支持更广泛的应用与跨模型比较。
• 本研究证明，测量建模为评估偏见测量方法提供了稳健且标准化的视角，将多样化的评估工作统一于一个共享的理论框架之下。