[论文解读] Vision-Language Models Performing Zero-Shot Tasks Exhibit Gender-based Disparities

Melissa Hall, Laura Gustafson+3 more|arXiv (Cornell University)|Jan 26, 2023

Topic Modeling被引用 4

一句话总结

本文研究了零样本视觉-语言模型（CLIP、Detic、LSeg）在图像分类、目标检测和语义分割任务中基于性别的性能差异。研究发现，模型的准确率和校准性在不同性别感知的人像中存在显著差异，且偏差与预训练词嵌入中的偏差一致，凸显了开放词汇视觉系统中偏差传播的风险。

ABSTRACT

We explore the extent to which zero-shot vision-language models exhibit gender bias for different vision tasks. Vision models traditionally required task-specific labels for representing concepts, as well as finetuning; zero-shot models like CLIP instead perform tasks with an open-vocabulary, meaning they do not need a fixed set of labels, by using text embeddings to represent concepts. With these capabilities in mind, we ask: Do vision-language models exhibit gender bias when performing zero-shot image classification, object detection and semantic segmentation? We evaluate different vision-language models with multiple datasets across a set of concepts and find (i) all models evaluated show distinct performance differences based on the perceived gender of the person co-occurring with a given concept in the image and that aggregating analyses over all concepts can mask these concerns; (ii) model calibration (i.e. the relationship between accuracy and confidence) also differs distinctly by perceived gender, even when evaluating on similar representations of concepts; and (iii) these observed disparities align with existing gender biases in word embeddings from language models. These findings suggest that, while language greatly expands the capability of vision tasks, it can also contribute to social biases in zero-shot vision settings. Furthermore, biases can further propagate when foundational models like CLIP are used by other models to enable zero-shot capabilities.

研究动机与目标

• 调查零样本视觉-语言模型在多种视觉任务中是否表现出基于性别的性能差异。
• 研究模型校准性（通过期望校准误差ECE衡量）在图像中共同出现人物的性别感知差异下的表现差异。
• 确定视觉模型中观察到的差异是否与预训练词嵌入中已知的性别偏差一致。
• 评估当像CLIP这样的基础模型被用于在下游模型中实现零样本能力时，偏差传播的风险。
• 证明对所有概念的整体性能聚合会掩盖显著的性别偏差，呼吁进行细分概念的评估。

提出的方法

• 在包括Visual Genome在内的多个数据集上评估了三种零样本模型：CLIP（ViT-B/32）、Detic（用于目标检测）和LSeg（用于语义分割）。
• 使用语言模型的文本嵌入作为分类器，对零样本图像分类、检测和分割任务进行推理，无需特定任务的微调。
• 通过数据集中二值化的标注定义图像中人物的性别感知，依赖视觉感知而非自我认同。
• 使用平均精度（AP）和期望校准误差（ECE）衡量性能差异，以评估不同性别感知群体中准确率与置信度的一致性。
• 将每个概念的差异进行映射，以识别根本原因，如物体显著性差异（例如头发、领结）以及不同性别群体间概念共现模式的差异。
• 将视觉模型中的偏差与非上下文词嵌入（如word2vec）中的性别偏差进行比较，以评估其一致性与传播性。

实验结果

研究问题

• RQ1 零样本视觉-语言模型是否在与视觉概念共同出现的人物性别感知上表现出性能差异？
• RQ2 对于相同的视觉概念，模型校准性（特别是置信度与准确率之间的关系）在不同性别感知群体中如何不同？
• RQ3 预训练词嵌入中的性别偏差在多大程度上与零样本视觉-语言模型中观察到的偏差相关？
• RQ4 对所有概念的整体性能聚合是否会掩盖个体概念识别中的显著性别偏差？
• RQ5 零样本视觉模型中性别偏差的根本原因是什么，特别是在概念级感知与共现模式方面？

主要发现

• 所有评估的模型——CLIP、Detic和LSeg——在与特定视觉概念共同出现的人物性别感知上表现出明显的性能差异，多数情况下对男性图像的平均精度更高。
• 对所有概念的差异分析进行聚合会掩盖显著的性别性能差异，凸显了按概念进行评估的必要性。
• 通过期望校准误差（ECE）衡量的模型校准性在不同性别感知群体中存在显著差异，表明模型在代表同一概念时，对某些性别群体的置信度和准确度均较低。
• 视觉模型中的性别偏差与非上下文词嵌入中的既有性别偏差高度一致，表明语言模型偏差已传递至视觉任务。
• 根本原因分析显示，物体显著性差异（如头发、领结）以及概念共现模式在不同性别群体间存在差异，是导致性能偏差的原因。
• 研究结果表明，在视觉任务中使用语言模型作为监督信号可能传播甚至放大社会偏见，尤其是在像CLIP这样的基础模型被重复用于下游系统时。