[论文解读] Multimodal Composite Association Score: Measuring Gender Bias in Generative Multimodal Models

Abhishek Mandal, Susan Leavy+1 more|arXiv (Cornell University)|Apr 26, 2023

Computational and Text Analysis Methods被引用 4

一句话总结

本文提出多模态复合关联得分（MCAS），一种可扩展的方法，用于量化生成式多模态模型（如 DALL-E 2 和 Stable Diffusion）中的性别偏见，通过测量文本嵌入与图像嵌入之间的关联。MCAS 发现，这两类模型中均存在更强的刻板性别关联（尤其对女性不利），且 Stable Diffusion 的偏见得分显著高于 DALL-E 2。

ABSTRACT

Generative multimodal models based on diffusion models have seen tremendous growth and advances in recent years. Models such as DALL-E and Stable Diffusion have become increasingly popular and successful at creating images from texts, often combining abstract ideas. However, like other deep learning models, they also reflect social biases they inherit from their training data, which is often crawled from the internet. Manually auditing models for biases can be very time and resource consuming and is further complicated by the unbounded and unconstrained nature of inputs these models can take. Research into bias measurement and quantification has generally focused on small single-stage models working on a single modality. Thus the emergence of multistage multimodal models requires a different approach. In this paper, we propose Multimodal Composite Association Score (MCAS) as a new method of measuring gender bias in multimodal generative models. Evaluating both DALL-E 2 and Stable Diffusion using this approach uncovered the presence of gendered associations of concepts embedded within the models. We propose MCAS as an accessible and scalable method of quantifying potential bias for models with different modalities and a range of potential biases.

研究动机与目标

• 解决复杂、多阶段生成模型（如 DALL-E 2 和 Stable Diffusion）缺乏可扩展的多模态偏见评估方法的问题。
• 检测并量化多模态模型中文本与图像表征内的性别偏见。
• 实现对模型各组件中偏见来源的识别，包括各阶段之间可能存在的偏见放大现象。
• 提供一种可量化、可扩展的偏见评估指标，支持 MLOps、模型监控与偏见缓解。

提出的方法

• MCAS 将词嵌入关联测试（WEAT）扩展至测量文本与图像嵌入中概念集合之间的关联。
• 通过聚合多个概念类别（物体、职业、场景、运动）的关联强度，计算复合得分。
• 该方法同时评估模态间关联（文本-图像）与模态内关联（文本-文本、图像-图像），以检测偏见模式。
• 通过性别化概念集合的嵌入聚类之间的余弦相似度计算组件得分，并利用置换检验评估统计显著性。
• 该方法可将偏见分解至各个模型阶段，从而识别偏见的起源或放大位置。
• MCAS 设计为可扩展至其他偏见类型（如种族、民族）及文本与图像之外的模态。

Figure 1: MCAS Algorithm

实验结果

研究问题

• RQ1 生成式多模态模型（如 DALL-E 2 和 Stable Diffusion）在其生成输出中表现出多大程度的刻板性别关联？
• RQ2 哪些模型组件或阶段对多模态生成中的观察到的性别偏见贡献最大？
• RQ3 这些模型中，不同概念类别（如职业与场景）的性别关联强度如何比较？
• RQ4 MCAS 能否检测并量化像 Stable Diffusion 这类多阶段模型管道中的偏见放大现象？
• RQ5 在偏见大小与分布方面，MCAS 在 DALL-E 2 与 Stable Diffusion 之间的得分如何比较？

主要发现

• Stable Diffusion 的平均性别偏见得分显著高于 DALL-E 2，整体 MCAS 偏见得分为 -0.3025，而 DALL-E 2 为 -0.0152。
• 在职业类别中，'CEO' 表现出强烈的男性关联，而 'housekeeper' 和 'beautician' 则表现出强烈的女性关联，证实了性别化职业刻板印象的存在。
• 在运动类别中，男性关联最强，仅 'gymnastics' 一项运动与女性有强烈关联。
• 在物体类别中，'blonde' 与女性有强烈关联，表明图像生成中存在性别化的身体刻板印象。
• Stable Diffusion 的偏见得分标准差始终更高，表明其在不同输入下偏见更具变异性，可能造成偏见放大。
• MCAS 揭示，当偏见发生时，其在与女性的关联中通常比与男性的关联更强，表明偏见强度存在性别不对称性。

Figure 2: Association Scores in Diffusion Models. A generalised diagram showing the working of diffusion models like DALL-E 2 and Stable Diffusion. The embeddings are generated using an external CLIP model.