[论文解读] Towards Understanding Gender-Seniority Compound Bias in Natural Language Generation

Samhita Honnavalli, Aesha Parekh+5 more|arXiv (Cornell University)|May 19, 2022

Text Readability and Simplification被引用 7

一句话总结

本文提出了一种新颖的框架，用于研究自然语言生成中的复合性别-资历偏见，采用来自美国参议员和教授职位领域的远程监督数据集。结果显示，GPT-2 会放大偏见，将女性更频繁地与初级职位关联，而将男性与高级职位关联，导致在初级教授提示中男性代名词语言增加 8.3%，在女性助教的生成中比真实值高估 18.5%。

ABSTRACT

Women are often perceived as junior to their male counterparts, even within the same job titles. While there has been significant progress in the evaluation of gender bias in natural language processing (NLP), existing studies seldom investigate how biases toward gender groups change when compounded with other societal biases. In this work, we investigate how seniority impacts the degree of gender bias exhibited in pretrained neural generation models by introducing a novel framework for probing compound bias. We contribute a benchmark robustness-testing dataset spanning two domains, U.S. senatorship and professorship, created using a distant-supervision method. Our dataset includes human-written text with underlying ground truth and paired counterfactuals. We then examine GPT-2 perplexity and the frequency of gendered language in generated text. Our results show that GPT-2 amplifies bias by considering women as junior and men as senior more often than the ground truth in both domains. These results suggest that NLP applications built using GPT-2 may harm women in professional capacities.

研究动机与目标

• 研究预训练语言模型（如 GPT-2）中资历如何与性别偏见相互作用。
• 弥补自然语言处理研究中通常孤立研究性别偏见、而未考虑交叉性社会偏见的空白。
• 开发一个稳健的基准数据集，用于评估自然语言生成中的复合偏见。
• 证明资历显著放大了自然语言生成模型中已有的性别偏见，尤其在职业角色描述中。

提出的方法

• 利用谷歌搜索结果和经人工验证的真实数据，构建了来自美国参议员和计算机科学教授的远程监督数据集。
• 通过翻转原始人工撰写文本样本中的性别和资历标签，创建了成对的反事实样本。
• 使用 GPT-2 从包含不同资历（初级/高级）和性别（男性/女性）标签的提示中生成文本。
• 通过困惑度和生成输出中性别化语言的频率来衡量偏见。
• 采用 AMT 人工评估方法，对生成文本中的性别化语言进行分类，并与真实数据分布进行比较。
• 应用双样本 z 检验进行显著性统计检验，评估真实值与观测到的性别化语言频率之间的差异。

实验结果

研究问题

• RQ1 资历在多大程度上影响 GPT-2 文本生成中的性别偏见程度？
• RQ2 GPT-2 在多大程度上通过将女性更多地与初级职位、男性与高级职位关联，放大了代表性偏见？
• RQ3 性别与资历的复合偏见是否导致在学术和政治领域中出现更高的晋升偏见？
• RQ4 指定资历（例如“初级参议员”与“参议员”）如何影响模型的性别化语言输出？
• RQ5 远程监督数据集能否有效捕捉并基准化自然语言生成模型中的复合性别-资历偏见？

主要发现

• 当提示为“高级参议员”时，GPT-2 生成文本中男性代名词语言的比例比真实值高估 8.3%。
• 在“助教”提示下，GPT-2 生成的女性代名词语言比真实值多出 18.5%，表明存在被放大的晋升偏见。
• 当提示为“初级参议员”时，GPT-2 生成的女性代名词语言比未指定资历时多出 7%。
• 与中性提示相比，当提示为“高级参议员”时，模型将女性代名词语言减少 1.4%，男性代名词语言增加 1.4%。
• 在教授职位领域，与实际真实值相比，GPT-2 将女性助教的代表性高估了 18.5%，将女性副教授的代表性高估了 11.5%。
• 统计检验确认，在除男性高级参议员和男性初级参议员外的所有情况下，观测到的性别化语言差异均具有显著性（p < 0.05）