[论文解读] The Silicon Ceiling: Auditing GPT's Race and Gender Biases in Hiring

L Armstrong, Abbey Liu+2 more|arXiv (Cornell University)|May 7, 2024

Names, Identity, and Discrimination Research被引用 4

一句话总结

本研究通过两项实验——简历评估与简历生成——对 GPT-3.5 在招聘中是否存在种族与性别偏见进行了审计。研究发现，GPT-3.5 表现出刻板印象偏见：在男性主导的职业中对女性评分更低，并为亚裔和西班牙裔姓名分配移民标记，揭示了其在自动化招聘中持续加剧现有社会不平等的‘硅质天花板’现象。

ABSTRACT

Large language models (LLMs) are increasingly being introduced in workplace settings, with the goals of improving efficiency and fairness. However, concerns have arisen regarding these models' potential to reflect or exacerbate social biases and stereotypes. This study explores the potential impact of LLMs on hiring practices. To do so, we conduct an AI audit of race and gender biases in one commonly-used LLM, OpenAI's GPT-3.5, taking inspiration from the history of traditional offline resume audits. We conduct two studies using names with varied race and gender connotations: resume assessment (Study 1) and resume generation (Study 2). In Study 1, we ask GPT to score resumes with 32 different names (4 names for each combination of the 2 gender and 4 racial groups) and two anonymous options across 10 occupations and 3 evaluation tasks (overall rating, willingness to interview, and hireability). We find that the model reflects some biases based on stereotypes. In Study 2, we prompt GPT to create resumes (10 for each name) for fictitious job candidates. When generating resumes, GPT reveals underlying biases; women's resumes had occupations with less experience, while Asian and Hispanic resumes had immigrant markers, such as non-native English and non-U.S. education and work experiences. Our findings contribute to a growing body of literature on LLM biases, particularly in workplace contexts.

研究动机与目标

• 调查 GPT-3.5 是否在自动化招聘过程中反映或放大了种族与性别偏见。
• 考察基于姓名的线索（反映种族与性别）如何影响 GPT-3.5 对简历质量、面试意愿及录用可能性的评估。
• 通过分析 GPT-3.5 为不同姓名的虚构候选人生成的简历内容，探测其潜在偏见。
• 为就业场景下的算法公平性审计提供方法论洞见，尤其在纽约市本地法 144 等新兴法规背景下。
• 揭示人工智能系统在客观性伪装下加剧结构性不平等的风险，提出‘硅质天花板’一词以描述此现象。

提出的方法

• 开展简历评估研究（研究 1），使用 32 个姓名——每种性别与四种种族群体的组合各 4 个——搭配 10 份针对特定职业的简历。
• 针对每份简历，使用 GPT-3.5 生成三项评分：总体评分、面试意愿、录用意愿，每份简历进行 50 次试验以考虑标记生成的变异性。
• 通过提示 GPT-3.5 为每个姓名生成 10 份独特的简历（包括两种匿名选项），开展简历生成研究（研究 2）。
• 使用自定义编码手册对手动编码生成的简历，识别工作经历时长、职位级别、教育背景以及移民标记（如非母语英语、非美国学位）等指标。
• 运用统计分析比较不同性别与种族群体在评分与简历特征上的差异，重点关注评估与内容中的不平等现象。
• 将传统简历审计研究的原则应用于大型语言模型情境，针对 LLM 的概率性与自回归行为调整实验设计。

实验结果

研究问题

• RQ1 RQ1：在 U.S. 招聘环境中，GPT 在种族、性别或其交叉维度上是否存在评分偏见？
• RQ2 RQ2：在 U.S. 环境中生成自身招聘相关内容时，GPT 是否暴露出种族、性别或其交叉维度上的潜在偏见？
• RQ3 GPT-3.5 的简历生成模式如何反映或强化社会对种族与性别既有的刻板印象？
• RQ4 GPT-3.5 的评估与生成内容在多大程度上反映了劳动力市场中的结构性不平等，特别是在男性或白人主导的领域中？

主要发现

• 在简历评估研究中，GPT-3.5 对申请男性主导职业的女性给予了显著更低的评分，表明存在基于性别的评估偏见。
• GPT-3.5 对与非白人相关联的姓名的候选人整体评分更低，且在白人主导的职业中更不愿意面试或录用这些候选人。
• 在简历生成中，GPT-3.5 为女性生成的简历职级更低、工作经历更短，相较于同名同职业的男性。
• 为亚裔和西班牙裔姓名生成的简历频繁包含非母语英语标记及非美国教育或工作经历，强化了移民刻板印象。
• 黑人与白人姓名较少与移民标记关联，表明 GPT-3.5 的输出中存在对国籍与语言能力的种族化编码。
• 评估与生成结果的结合揭示了一种系统性模式：GPT-3.5 复制并内化了现有社会偏见，导致在人工智能驱动招聘中对边缘化群体形成‘硅质天花板’。