[论文解读] Quantifying Gender Bias Towards Politicians in Cross-Lingual Language Models

Karolina Stańczak, Sagnik Ray Choudhury+3 more|arXiv (Cornell University)|Apr 15, 2021

Gender Politics and Representation被引用 5

一句话总结

本文提出一种多语言探针方法，通过分析七种语言中六种跨语言语言模型在政治人物姓名周围的形容词和动词生成结果，量化其性别偏见。研究发现，语言特异性刻板印象强烈影响模型输出——例如，'beautiful'（美丽的）和'divorced'（离婚的）在多数语言中主要与女性政治人物关联——但更大的模型并未表现出显著高于较小模型的偏见。

ABSTRACT

Recent research has demonstrated that large pre-trained language models reflect societal biases expressed in natural language. The present paper introduces a simple method for probing language models to conduct a multilingual study of gender bias towards politicians. We quantify the usage of adjectives and verbs generated by language models surrounding the names of politicians as a function of their gender. To this end, we curate a dataset of 250k politicians worldwide, including their names and gender. Our study is conducted in seven languages across six different language modeling architectures. The results demonstrate that pre-trained language models' stance towards politicians varies strongly across analyzed languages. We find that while some words such as dead, and designated are associated with both male and female politicians, a few specific words such as beautiful and divorced are predominantly associated with female politicians. Finally, and contrary to previous findings, our study suggests that larger language models do not tend to be significantly more gender-biased than smaller ones.

研究动机与目标

• 探究预训练语言模型在多种语言中对政治人物的性别偏见如何表现。
• 开发一种可扩展的多语言方法，通过命名实体周围的生成文本探针性别偏见。
• 评估更大语言模型是否表现出比更小模型更显著的性别偏见。
• 将情感和词语关联分析作为对男性、女性及非二元性别政治人物立场的代理指标。
• 评估语言和文化差异对跨语言模型中偏见模式的影响。

提出的方法

• 整理了一个包含25万政治人物的多语言数据集，其性别标注来自Wikidata，涵盖多样化的国家和语言。
• 使用预训练的跨语言语言模型在每个政治人物姓名周围（例如，'___ person'）生成形容词和动词。
• 应用潜在变量模型，通过分析按政治人物性别分类的生成词语频率与情感，测量性别偏见。
• 在七种类型不同的语言（如英语、德语、阿拉伯语、日语）中，对六种多语言架构（如mBERT、XLM-R）进行实验。
• 使用点互信息（PMI）和情感得分量化偏见，以检测刻板印象关联。
• 由于非二元性别身份的数据稀缺，分析仅限于二元性别政治人物，尽管该方法具有可扩展性。

实验结果

研究问题

• RQ1 跨语言语言模型中的性别偏见在不同语言间如何变化？
• RQ2 在多语言模型输出中，哪些特定词语主要与男性或女性政治人物相关联？
• RQ3 模型规模是否与语言模型中性别偏见的增加相关？
• RQ4 在多种语言中，对男性和女性政治人物的模型生成文本是否存在一致的情感模式（积极、消极、中性）？
• RQ5 语言和文化差异如何影响语言模型中性别偏见的表达？

主要发现

• 语言显著影响模型立场：尽管英语模型将负面情感与男性政治人物关联，但大多数其他语言显示出相反模式。
• 在多种语言中，'beautiful'（美丽的）、'divorced'（离婚的）和'maternal'（母性的）等词语主要与女性政治人物关联。
• 男性政治人物与'dead'（已故）和'designated'（指定的）等词语关联，这些词语在涉及女性政治人物的语境中也出现，表明存在一定的跨性别使用。
• 与先前研究相反，更大的语言模型并未表现出显著高于较小模型的性别偏见。
• 非二元政治人物在数据集中占比极低（0.025%），限制了分析，凸显了数据稀缺作为关键局限。
• 本研究揭示，语言模型反映并放大了政治话语中既有的社会与媒体偏见，尤其在多语言环境中。