[论文解读] Stereotyping and Bias in the Flickr30K Dataset

Emiel van Miltenburg|arXiv (Cornell University)|May 19, 2016

Bioinformatics and Genomic Networks被引用 53

一句话总结

本文揭示了Flickr30K图像字幕数据集中普遍存在的刻板印象和语言偏见，表明众包描述常常反映超出视觉内容的不合理推断和性别化假设。本文提出了一套语言偏见与不合理推断的分类体系，主张正视训练数据中的固有偏见，并呼吁开发能够区分感知层与语境层的图像字幕生成模型。

ABSTRACT

An untested assumption behind the crowdsourced descriptions of the images in the Flickr30K dataset (Young et al., 2014) is that they "focus only on the information that can be obtained from the image alone" (Hodosh et al., 2013, p. 859). This paper presents some evidence against this assumption, and provides a list of biases and unwarranted inferences that can be found in the Flickr30K dataset. Finally, it considers methods to find examples of these, and discusses how we should deal with stereotype-driven descriptions in future applications.

研究动机与目标

• 调查Flickr30K字幕中包含的刻板或偏见性语言在多大程度上无法直接从图像内容推断得出。
• 识别并分类图像描述中的语言偏见与不合理推断类型。
• 挑战字幕完全基于视觉输入的假设，强调标注者期望与文化规范的作用。
• 提出检测多模态数据集中偏见的方法，并倡导更负责任地使用此类数据训练人工智能模型。
• 鼓励开发能够区分图像描述中感知特征与语境解释的模型。

提出的方法

• 分析Flickr30K图像样本及其五个众包字幕，识别其中包含无法仅从图像推导出信息的描述。
• 将有偏见的描述分为两类：语言偏见（体现在反映社会刻板印象的词汇选择）与不合理推断（基于世界知识的推测性解释）。
• 通过定性分析考察具体案例，例如将女性标注为“性感”或在无视觉依据的情况下将场景描述为“老板训斥员工”。
• 应用语言偏见的分类体系，包括使用形容词标记对性别规范的偏离（如“强悍的女性”）以及使用否定词表示非从众性（如“不是愚蠢的”）。
• 建议使用多语言或多文化数据，以减少模型训练中对文化特定刻板印象的过度依赖。
• 倡导模型学习感知内容与语境解释的独立表征，而非直接将图像映射到有偏见的描述。

实验结果

研究问题

• RQ1 Flickr30K字幕在多大程度上反映了超出图像视觉内容的不合理推断？
• RQ2 语言偏见（如性别化形容词或否定词）如何在图像描述中表现，它们揭示了标注者的何种期望？
• RQ3 能否建立系统化的分类体系，以对多模态数据集中由刻板印象驱动的描述进行分类？
• RQ4 在包含普遍文化与性别偏见的数据上训练神经网络图像字幕模型会产生何种影响？
• RQ5 如何设计模型以区分图像描述中的感知特征与刻板的语境解释？

主要发现

• Flickr30K数据集中多个字幕包含图像中不可见的信息，例如将场景描述为‘老板训斥员工’或称女性为‘性感’，表明存在不合理推断。
• 语言偏见体现在使用形容词标记个体对性别规范的偏离，例如‘强悍的女性’，表明其与刻板印象的背离。
• 否定词被用于表示非从众性，例如‘垃圾工不傻’，揭示了标注者对性别与智力的潜在假设。
• 该数据集反映了文化和性别刻板印象，例如假设男性更可能是管理者而女性是下属，即使视觉线索不支持此判断。
• 多个标注者之间存在一致的刻板描述，表明偏见并非随机，而是系统性的，可能在人工智能模型中强化有害的社会规范。
• 本文结论认为，尽管应避免删除数据中的偏见以保持其代表性，但必须在模型设计中承认并应对这些偏见，以防止刻板印象的传播。