[论文解读] Survey of Bias In Text-to-Image Generation: Definition, Evaluation, and Mitigation

Yixin Wan, Arjun Subramonian+7 more|arXiv (Cornell University)|Apr 1, 2024

Data Visualization and Analytics被引用 4

一句话总结

本综述首次对文本到图像（T2I）生成模型中的偏见进行了全面分析，从性别表现、肤色和地理文化偏见三个维度，系统考察了偏见的定义、评估方法与缓解策略。研究揭示了显著的研究空白，特别是在地理文化偏见、非二元性别身份代表以及缺乏统一评估框架方面。同时，倡导采用以人为本、动态适应和终身演化的缓解方法，以构建更加公平的AI系统。

ABSTRACT

The recent advancement of large and powerful models with Text-to-Image (T2I) generation abilities -- such as OpenAI's DALLE-3 and Google's Gemini -- enables users to generate high-quality images from textual prompts. However, it has become increasingly evident that even simple prompts could cause T2I models to exhibit conspicuous social bias in generated images. Such bias might lead to both allocational and representational harms in society, further marginalizing minority groups. Noting this problem, a large body of recent works has been dedicated to investigating different dimensions of bias in T2I systems. However, an extensive review of these studies is lacking, hindering a systematic understanding of current progress and research gaps. We present the first extensive survey on bias in T2I generative models. In this survey, we review prior studies on dimensions of bias: Gender, Skintone, and Geo-Culture. Specifically, we discuss how these works define, evaluate, and mitigate different aspects of bias. We found that: (1) while gender and skintone biases are widely studied, geo-cultural bias remains under-explored; (2) most works on gender and skintone bias investigated occupational association, while other aspects are less frequently studied; (3) almost all gender bias works overlook non-binary identities in their studies; (4) evaluation datasets and metrics are scattered, with no unified framework for measuring biases; and (5) current mitigation methods fail to resolve biases comprehensively. Based on current limitations, we point out future research directions that contribute to human-centric definitions, evaluations, and mitigation of biases. We hope to highlight the importance of studying biases in T2I systems, as well as encourage future efforts to holistically understand and tackle biases, building fair and trustworthy T2I technologies for everyone.

研究动机与目标

• 系统回顾并综合现有研究，分析文本到图像（T2I）生成模型在性别表现、肤色和地理文化偏见三个核心维度上的偏见问题。
• 识别并分析既有研究如何定义、评估和缓解T2I系统中的偏见，突出其不一致性和方法论缺陷。
• 揭示关键研究空白，包括地理文化偏见的代表性不足、对非二元性别身份的关注缺失，以及缺乏统一的评估框架。
• 倡导未来研究聚焦于以人为本的定义、动态评估以及适应性强、持续演化的缓解策略，以响应社会规范的演变。
• 通过引导研究人员和政策制定者关注伦理责任的AI设计与部署，支持开发更加公平、可信的T2I技术。

提出的方法

• 对36篇关于T2I模型中偏见的同行评审论文进行了系统性文献回顾，重点关注性别表现、肤色和地理文化偏见。
• 根据研究对偏见的概念化、评估方法和缓解技术，对研究进行分类与分析，涵盖三个偏见维度。
• 将偏见的定义映射到具体方面，如职业关联、权力关系、刻板印象物品和图像质量，以识别主题聚类。
• 评估各研究中使用的评估指标与数据集的多样性与一致性，识别出碎片化与缺乏标准化的问题。
• 提出未来研究框架，强调随社会规范与社区反馈动态演化的适应性、终身缓解策略。
• 强调身份分类中的伦理风险，包括对性别、种族和文化依赖视觉代理指标，警惕其在监控或压迫性应用中的滥用。

实验结果

研究问题

• RQ1 现有研究如何在性别表现、肤色和地理文化维度上定义文本到图像生成模型中的偏见？
• RQ2 在T2I模型中，衡量偏见的常用评估指标与数据集有哪些？各研究之间在标准化方面达到何种程度？
• RQ3 已提出的缓解策略有哪些？它们在整体性地解决多维度偏见方面效果如何？
• RQ4 为何与性别和肤色偏见相比，地理文化偏见在当前研究中显著被忽视？
• RQ5 未来研究如何发展以人为本、动态适应和终身演化的偏见缓解方法，以响应社会价值观与社区需求的演变？

主要发现

• 性别与肤色偏见被广泛研究，尤其聚焦于职业关联，而地理文化偏见在文献中仍显著被忽视。
• 大多数性别偏见研究未能涵盖非二元性别身份，导致T2I模型输出中存在排他性表征。
• 目前缺乏统一的T2I模型偏见评估框架，指标与数据集在各研究间差异显著，导致结果不一致且难以比较。
• 当前的缓解方法在整体性解决偏见方面普遍无效，往往无法同时或可持续地应对多个维度的偏见。
• 评估实践因依赖有偏见的身份分类方法（包括人工与自动化）而受损，导致刻板印象在偏见测量过程中被进一步传播。
• 缺乏动态、适应性强且终身演化的缓解策略，限制了T2I系统在长期中的公平性，尤其在社会规范与文化表征随时间演变的背景下。