[论文解读] Stereotypes and Smut: The (Mis)representation of Non-cisgender Identities by Text-to-Image Models

Eddie L. Ungless, Björn Roß+1 more|arXiv (Cornell University)|May 26, 2023

Cinema and Media StudiesEconomics, Econometrics and Finance被引用 3

一句话总结

本文研究了文本到图像模型如何通过刻板印象、性化和非人化手段错误地表现非顺性别身份，结合对模型输出的手动分析、针对非顺性别个体的调查与访谈。研究发现，这些模型在生成非顺性别身份图像时，始终表现出更低的逼真度、更高的性化程度和更强的刻板印象，呼吁推动由社区主导的设计、经过筛选的训练数据以及可自定义的表征方式，以确保人工智能的伦理与包容性发展。

ABSTRACT

Cutting-edge image generation has been praised for producing high-quality images, suggesting a ubiquitous future in a variety of applications. However, initial studies have pointed to the potential for harm due to predictive bias, reflecting and potentially reinforcing cultural stereotypes. In this work, we are the first to investigate how multimodal models handle diverse gender identities. Concretely, we conduct a thorough analysis in which we compare the output of three image generation models for prompts containing cisgender vs. non-cisgender identity terms. Our findings demonstrate that certain non-cisgender identities are consistently (mis)represented as less human, more stereotyped and more sexualised. We complement our experimental analysis with (a)~a survey among non-cisgender individuals and (b) a series of interviews, to establish which harms affected individuals anticipate, and how they would like to be represented. We find respondents are particularly concerned about misrepresentation, and the potential to drive harmful behaviours and beliefs. Simple heuristics to limit offensive content are widely rejected, and instead respondents call for community involvement, curated training data and the ability to customise. These improvements could pave the way for a future where change is led by the affected community, and technology is used to positively ``[portray] queerness in ways that we haven't even thought of'' rather than reproducing stale, offensive stereotypes.

研究动机与目标

• 调查文本到图像模型在表现非顺性别身份与顺性别身份时的差异，重点关注有害偏见。
• 通过对手动分析模型输出的系统性研究，识别具体形式的错误表征，如非人化、性化和刻板印象。
• 通过调查与访谈，理解非顺性别社群对错误表征的预期危害及理想表征方式。
• 基于社区反馈，为模型开发者提供可操作的建议，强调社区参与与经筛选的训练数据。
• 通过将边缘化社群的声音置于中心，挑战技术官僚式解决方案，推动伦理化人工智能表征的构建。

提出的方法

• 对三种文本到图像模型（如 Stable Diffusion）的输出图像进行人工标注研究，比较包含顺性别与非顺性别身份术语的提示词生成结果。
• 分析生成图像的逼真度、面部特征存在情况、性化程度以及刻板印象特征（如骄傲旗帜颜色、夸张的性别化特征）。
• 向非顺性别个体发放调查问卷，识别其对AI生成图像中潜在危害的预期及理想表征偏好。
• 对非顺性别参与者开展半结构化访谈，探讨其在错误表征中的生活体验及对模型行为的期望。
• 采用定性主题分析方法解读调查与访谈数据，重点关注错误表征、物化及伤害等关切。
• 收集并整理用于分析的模型生成图像数据集，仅在请求下提供，以防止滥用。

Figure 1: Four images generated by Stable Diffusion model in response to “Transgender women” . The black square indicates the model did not produce an output due to risk of NSFW content.

实验结果

研究问题

• RQ1 在逼真度、性化程度和刻板印象方面，文本到图像模型在表现非顺性别身份与顺性别身份时有何差异？
• RQ2 非顺性别个体预期从AI生成的其身份图像中面临哪些形式的表征伤害？
• RQ3 非顺性别社群如何构想未来文本到图像模型中对其身份的表征方式？
• RQ4 受影响社群更倾向于哪些类型的技术与设计干预措施，以减少有害表征？
• RQ5 当前的技术解决方案（如内容过滤）在多大程度上符合非顺性别用户的需求与价值观？

主要发现

• 文本到图像模型在生成非顺性别身份图像时，始终表现出更低的逼真度、更高的性化程度和更强的刻板印象，尤其体现在跨性别女性与非二元性别个体上。
• 大量非顺性别身份的生成图像缺乏清晰的面部特征，且常以刻板印象色彩（如骄傲旗帜色调）呈现，加剧了非人化现象。
• 非顺性别受访者普遍担忧错误表征，尤其担心其会强化有害的社会观念并助长歧视性行为。
• 参与者广泛拒绝简单技术修复（如内容过滤），更倾向于推动社区参与与经筛选的训练数据。
• 访谈对象强调了可自定义表征的必要性，以及将边缘化社群纳入模型开发过程的重要性，以避免象征性参与与偏见。
• 本研究揭示了技术官僚式解决方案与社区驱动设计之间的鸿沟，倡导开发能够以创新、非刻板印象化方式体现酷儿身份的模型。

(a) Photorealism