[论文解读] Quite Good, but Not Enough: Nationality Bias in Large Language Models -- A Case Study of ChatGPT

Shucheng Zhu, Weikang Wang+1 more|arXiv (Cornell University)|May 11, 2024

Topic Modeling被引用 4

一句话总结

本研究通过使用英文和中文提示，在195个国家生成了4,680条与国籍相关的论述，结合自动化指标与人工/大语言模型成对比较，调查了ChatGPT中的国籍偏见。尽管输出总体上呈现积极且无冒犯性，但ChatGPT仍反映出现实世界中的国籍偏见，尤其在中文输出中更为明显，表明即使行为良好的大语言模型也会内嵌细微且受文化影响的刻板印象。

ABSTRACT

While nationality is a pivotal demographic element that enhances the performance of language models, it has received far less scrutiny regarding inherent biases. This study investigates nationality bias in ChatGPT (GPT-3.5), a large language model (LLM) designed for text generation. The research covers 195 countries, 4 temperature settings, and 3 distinct prompt types, generating 4,680 discourses about nationality descriptions in Chinese and English. Automated metrics were used to analyze the nationality bias, and expert annotators alongside ChatGPT itself evaluated the perceived bias. The results show that ChatGPT's generated discourses are predominantly positive, especially compared to its predecessor, GPT-2. However, when prompted with negative inclinations, it occasionally produces negative content. Despite ChatGPT considering its generated text as neutral, it shows consistent self-awareness about nationality bias when subjected to the same pair-wise comparison annotation framework used by human annotators. In conclusion, while ChatGPT's generated texts seem friendly and positive, they reflect the inherent nationality biases in the real world. This bias may vary across different language versions of ChatGPT, indicating diverse cultural perspectives. The study highlights the subtle and pervasive nature of biases within LLMs, emphasizing the need for further scrutiny.

研究动机与目标

• 调查大型语言模型（尤其是ChatGPT）中是否存在国籍偏见及其性质。
• 考察国籍偏见在不同语言（英文与中文）及不同提示条件下的差异。
• 开发一种新颖的成对比较框架，将偏见视为连续谱而非二元分类。
• 评估人类标注者与ChatGPT对其生成文本中偏见的自我评估之间的一致性。
• 探讨现实世界社会指标（如GDP、人类发展指数）对模型生成论述中感知偏见的影响。

提出的方法

• 使用195个国家、4种温度设置和3种提示类型，在英文和中文中生成了4,680条与国籍相关的论述。
• 应用自动化指标（包括情感、冒犯性、仇恨言论、尊重程度及词汇丰富度）评估生成文本。
• 采用新颖的成对比较标注框架，由人类专家和ChatGPT自身对文本对之间的相对偏见进行评估。
• 将模型输出与现实世界社会指标（如PCGDP、HDI和WHR）进行相关性分析，以评估其与全球刻板印象的一致性。
• 使用Spearman等级相关系数分析社会指标与生成文本中感知偏见之间的关系。
• 通过标注者间一致性与相关性分析，验证人类标注者与ChatGPT自我评估之间的一致性。

实验结果

研究问题

• RQ1 即使在使用中性或积极指令提示时，ChatGPT在多大程度上仍会生成国籍偏见内容？
• RQ2 ChatGPT在英文与中文版本中的国籍偏见表现有何差异？
• RQ3 ChatGPT能否通过成对比较框架可靠地自我评估其偏见？与人类标注者相比表现如何？
• RQ4 现实世界社会指标（如GDP、人类发展）与ChatGPT生成文本中感知偏见的相关性有多大？
• RQ5 当情感倾向主要为积极时，模型输出是否仍反映现实世界中的国家刻板印象？

主要发现

• 在英文和中文提示下，ChatGPT生成的文本总体上积极且无冒犯性，相较于GPT-2有显著改进。
• 尽管情感倾向积极，ChatGPT的输出仍与现实世界社会指标（如PCGDP、HDI和WHR）存在显著相关性，表明其与全球刻板印象保持一致。
• 在中文输出中，经济发展和人类发展水平较高的国家获得更积极的描述，而发展水平较低的国家则被描绘得更负面。
• ChatGPT通过成对比较展现出较强的自我偏见意识，其结果与人类标注者的判断高度一致。
• 同一国家的中文与英文输出之间几乎不存在相关性，表明不同语言版本间存在截然不同的文化视角。
• 即使在模型生成中性或积极文本时，细微的国籍偏见依然存在，表明偏见难以被彻底消除，且其作用是连续谱而非二元属性。