[论文解读] The Unequal Opportunities of Large Language Models: Revealing Demographic Bias through Job Recommendations

Abel Salinas, Parth Shah+3 more|arXiv (Cornell University)|Aug 3, 2023

Artificial Intelligence in Healthcare and EducationMedicine参考文献 29被引用 3

一句话总结

本文提出一种基于工作推荐的方法，用于检测和比较大型语言模型（LLMs）中的性别与种族偏见，揭示了ChatGPT和LLaMA中显著的交叉性偏见——尤其表现为对墨西哥裔工人推荐低薪职位，对女性则倾向推荐文秘类岗位。研究显示，仅在提示中提及性别或国籍，便会显著扭曲推荐结果，凸显在现实AI应用中缓解偏见的迫切需求。

ABSTRACT

Large Language Models (LLMs) have seen widespread deployment in various real-world applications. Understanding these biases is crucial to comprehend the potential downstream consequences when using LLMs to make decisions, particularly for historically disadvantaged groups. In this work, we propose a simple method for analyzing and comparing demographic bias in LLMs, through the lens of job recommendations. We demonstrate the effectiveness of our method by measuring intersectional biases within ChatGPT and LLaMA, two cutting-edge LLMs. Our experiments primarily focus on uncovering gender identity and nationality bias; however, our method can be extended to examine biases associated with any intersection of demographic identities. We identify distinct biases in both models toward various demographic identities, such as both models consistently suggesting low-paying jobs for Mexican workers or preferring to recommend secretarial roles to women. Our study highlights the importance of measuring the bias of LLMs in downstream applications to understand the potential for harm and inequitable outcomes.

研究动机与目标

• 探究大型语言模型（LLMs）如ChatGPT和LLaMA如何基于性别、国籍等人口统计属性生成有偏见的工作推荐。
• 开发并验证一种利用工作推荐任务作为现实决策代理的测量方法，以评估LLMs中的交叉性偏见。
• 评估LLMs中的偏见是否反映或加剧了既有的社会不平等，特别是美国劳动力市场中的不平等现象。
• 评估提示变化（尤其是提及国籍或性别）对工作推荐分布及薪资预估的影响。
• 通过识别提示中的人口统计信息如何无意中引入或加剧偏见，倡导负责任的LLMs部署。

提出的方法

• 作者设计了一种受控的提示框架，系统性地改变人口统计属性（例如‘一名来自墨西哥的女性’、‘一名来自日本的男性’），以从LLMs获取工作推荐。
• 他们收集并分析了ChatGPT和LLaMA在多种人口统计身份下的工作推荐及相应的薪资预估，重点关注性别与国籍等交叉身份。
• 该方法通过比较不同人口统计模板与中性基线提示的推荐结果，隔离人口统计提及对输出分布的影响。
• 采用统计分析检测基于人口统计属性的工作类型与薪资水平的显著偏差，重点关注高薪职位中的代表性不足。
• 通过与美国劳工统计局等历史劳动力市场数据对比，对研究发现进行语境化分析，以评估其现实相关性。
• 该方法可扩展至性别与国籍以外的其他人口统计类别，从而实现对LLMs中更广泛偏见的分析。

Figure 1 . Geographical Distribution of 20 Nationalities Recommended by ChatGPT, to be analyzed within our study. Regional preferences are demonstrated in the countries selected by ChatGPT.

实验结果

研究问题

• RQ1 当使用性别和国籍等人口统计属性作为提示时，ChatGPT和LLaMA在工作推荐方面有何差异？
• RQ2 在提示中提及性别或国籍在多大程度上改变了推荐工作及其相关薪资的分布？
• RQ3 LLMs生成的工作推荐中观察到的偏见是否反映了或放大了现实中的劳动力市场不平等，特别是对墨西哥裔美国人和女性的影响？
• RQ4 在提示中包含人口统计信息如何影响工作推荐的实际可行性和真实性，特别是在LLaMA等模型中？
• RQ5 能否通过将工作推荐任务作为公平性评估的代理，开发一种标准化的LLMs偏见检测方法？

主要发现

• ChatGPT在狭窄的若干领域内生成了614项工作推荐，而LLaMA则提出了6,106种独特的工作，但其中许多不切实际，例如‘阿拉伯公主’。
• 两个模型均持续为被标识为墨西哥裔的个体推荐低薪工作，反映出对墨西哥裔美国人在历史上存在的劳动力市场歧视。
• 女性在两个模型中均被不成比例地推荐从事文秘类岗位，表明性别化的职业刻板印象依然存在。
• 不包含人口统计提及的基线提示产生的结果与特定国籍提示相比为异常值，表明人口统计线索显著改变了输出分布。
• LLaMA在各国整体偏见程度较低，但其推荐结果比ChatGPT表现出更多随机性与不切实际性。
• 本研究证实，即使提示中的人口统计属性仅有微小变化，也会导致截然不同且有偏见的推荐结果，凸显了无意中放大偏见的风险。

(a) ChatGPT Job Clusters