[论文解读] Survey of Social Bias in Vision-Language Models

Nayeon Lee, Yejin Bang+4 more|arXiv (Cornell University)|Sep 24, 2023

Domain Adaptation and Few-Shot Learning被引用 5

一句话总结

本综述对视觉语言模型（VLMs）中的社会偏见提供了全面分析，比较了单模态（NLP、CV）与多模态（VL）设置下偏见机制、评估指标及缓解策略。研究识别出架构设计、提示模板和多属性偏见为关键挑战，并提出了轻量级后处理与统一偏见测量框架，以在不牺牲性能的前提下提升VLMs的公平性。

ABSTRACT

In recent years, the rapid advancement of machine learning (ML) models, particularly transformer-based pre-trained models, has revolutionized Natural Language Processing (NLP) and Computer Vision (CV) fields. However, researchers have discovered that these models can inadvertently capture and reinforce social biases present in their training datasets, leading to potential social harms, such as uneven resource allocation and unfair representation of specific social groups. Addressing these biases and ensuring fairness in artificial intelligence (AI) systems has become a critical concern in the ML community. The recent introduction of pre-trained vision-and-language (VL) models in the emerging multimodal field demands attention to the potential social biases present in these models as well. Although VL models are susceptible to social bias, there is a limited understanding compared to the extensive discussions on bias in NLP and CV. This survey aims to provide researchers with a high-level insight into the similarities and differences of social bias studies in pre-trained models across NLP, CV, and VL. By examining these perspectives, the survey aims to offer valuable guidelines on how to approach and mitigate social bias in both unimodal and multimodal settings. The findings and recommendations presented here can benefit the ML community, fostering the development of fairer and non-biased AI models in various applications and research endeavors.

研究动机与目标

• 分析NLP、CV与视觉语言（VL）模型在社会偏见方面的异同。
• 识别在多模态视觉语言预训练（VLP）模型中评估与缓解偏见的关键挑战。
• 为单模态与多模态AI系统中的偏见评估与缓解提供可操作的指导方针。
• 弥补当前研究中的空白，特别是关于多属性偏见与提示模板敏感性的问题。
• 支持开发更公平、无歧视的AI系统，以契合伦理AI原则。

提出的方法

• 使用统一的公平性框架，系统性地对NLP、CV与VL模型中的偏见度量与缓解技术进行分类。
• 回顾三种主要的VLP架构——融合编码器、双流结构与编码器-解码器结构，突出其对偏见传播的影响。
• 提出内在与外在偏见评估方法，包括跨模态关联测量与基于提示的探测方法。
• 提出一种轻量级后处理方法，通过沿学习到的偏见方向投影文本嵌入，同时保持语义含义。
• 采用正则化约束，确保去偏后的提示在投影后仍保留原始语义内容。
• 建议未来研究方向包括单模态偏见度量、对提示模板的鲁棒性，以及VLP中多属性的缓解。

Figure 1. Illustration of the Fitzpatrick scale (Fitzpatrick, 1975 ) from Hazirbas et al . ( 2021 ) .

实验结果

研究问题

• RQ1 视觉语言模型中的社会偏见与单模态NLP和CV模型相比，在来源、表现形式与影响方面有何异同？
• RQ2 文本与图像编码器中的单模态偏见在多模态VLP整体偏见中所起的作用有多大？
• RQ3 提示模板的选择在多模态视觉语言模型中外在社会偏见测量中产生何种影响？
• RQ4 后处理方法是否能有效降低VLP中的社会偏见，同时不降低下游任务性能？
• RQ5 在多模态模型中联合缓解多个受保护属性（如性别、种族）面临哪些关键挑战？

主要发现

• 视觉语言模型从其单模态对应模型中继承并放大社会偏见，尤其体现在文本与图像编码器中，双流架构允许对单模态偏见进行独立分析。
• 提示模板的选择显著影响外在偏见测量结果，引入了必须在评估中加以考虑的方差。
• 通过沿学习到的偏见方向投影文本嵌入的后处理方法，能有效降低偏见，同时保持语义含义。
• 当前的偏见缓解技术往往导致下游任务性能下降，凸显了在不损失性能的前提下减少偏见的方法的迫切需求。
• 在联合缓解多个受保护属性方面，尤其是多模态设置中，研究严重不足。
• 对单模态空间（如CLIP的文本与图像编码器）进行细粒度偏见评估表明，偏见在跨模态融合前已独立存在，提示单模态偏见是整体多模态偏见的来源之一。

Figure 2. Illustration of counterfactual image synthesis from Joo and Kärkkäinen ( 2020 ) .