[论文解读] Smiling Women Pitching Down: Auditing Representational and Presentational Gender Biases in Image Generative AI

Luhang Sun, Mian Wei+4 more|arXiv (Cornell University)|May 17, 2023

Ethics and Social Impacts of AI被引用 14

一句话总结

本论文对 DALL-E 2 图像在覆盖 15,300 条提示、涉及 153 个职业的情境中性别偏见进行审计，评估与 census 数据及 Google Images 相对比的表征性与呈现性偏见。研究发现女性在男性主导领域的代表性不足，在女性主导领域的代表性过剩，以及对笑容和头部角度的偏见。

ABSTRACT

Generative AI models like DALL-E 2 can interpret textual prompts and generate high-quality images exhibiting human creativity. Though public enthusiasm is booming, systematic auditing of potential gender biases in AI-generated images remains scarce. We addressed this gap by examining the prevalence of two occupational gender biases (representational and presentational biases) in 15,300 DALL-E 2 images spanning 153 occupations, and assessed potential bias amplification by benchmarking against 2021 census labor statistics and Google Images. Our findings reveal that DALL-E 2 underrepresents women in male-dominated fields while overrepresenting them in female-dominated occupations. Additionally, DALL-E 2 images tend to depict more women than men with smiling faces and downward-pitching heads, particularly in female-dominated (vs. male-dominated) occupations. Our computational algorithm auditing study demonstrates more pronounced representational and presentational biases in DALL-E 2 compared to Google Images and calls for feminist interventions to prevent such bias-laden AI-generated images to feedback into the media ecology.

研究动机与目标

• 评估在 DALL-E 2 图像中跨 153 个职业的表征性性别偏见（女性与男性的职业分布）。
• 评估在 DALL-E 2 图像中跨职业的呈现性性别偏见（脸部表情和头部姿态）。
• 基准化比较 DALL-E 2 偏见与 2021 年人口普查劳动力统计及 Google Images。
• 提供证据并呼吁采取女性主义干预以减轻 AI 生成图像中的偏见。

提出的方法

• 整理一个包含 15,300 张 DALL-E 2 图像的数据集，图像来自覆盖 153 个职业的提示。
• 通过将性别 representation 与 census 劳动力统计数据进行比较来量化表征性偏见。
• 通过按性别与职业分析面部表情（微笑）和头部角度（向下）来量化呈现性偏见。
• 将偏见基准化与 Google Images 进行比较，以评估偏见的放大或减弱。
• 开发并应用计算审计算法来量化生成图像中的偏见特征。
• 讨论对媒体生态的影响及潜在的女性主义干预。

实验结果

研究问题

• RQ1 DALL-E 2 生成的图像是否在男性主导职业中低估女性，在女性主导职业中高估女性？
• RQ2 DALL-E 2 图像是否比男性呈现更多微笑的女性且头部向下倾斜，特别是在女性主导职业中？
• RQ3 就表征性和呈现性偏见而言，DALL-E 2 偏见与 Google Images 相比如何？
• RQ4 哪些干预措施可以减轻对媒体生态系统产生影响的偏见性 AI 生成图像？

主要发现

• DALL-E 2 在男性主导领域对女性代表性不足，在女性主导职业中对女性的代表性过高。
• DALL-E 2 图像倾向于描绘比男性更多的微笑女性，且头部倾向向下。
• 无论是在表征性还是呈现性层面，DALL-E 2 的偏见比 Google Images 更为显著。
• 偏见放大表明可能在媒体生态中产生反馈，需要女性主义干预。