[论文解读] REVISE: A Tool for Measuring and Mitigating Bias in Visual Datasets

Angelina Wang, Alexander Liu+7 more|arXiv (Cornell University)|Apr 16, 2020

Video Surveillance and Tracking Methods被引用 4

一句话总结

REVISE 是一种自动化工具，可跨三个维度检测并缓解视觉数据集中的偏见：基于对象的、基于人员的和基于地理的。通过分析对象频率、尺度、上下文、人口统计代表性以及地理分布，它能揭示可操作的洞察，指导数据集构建与模型训练，从而减少计算机视觉系统中的下游偏见。

ABSTRACT

Machine learning models are known to perpetuate and even amplify the biases present in the data. However, these data biases frequently do not become apparent until after the models are deployed. Our work tackles this issue and enables the preemptive analysis of large-scale datasets. REVISE (REvealing VIsual biaSEs) is a tool that assists in the investigation of a visual dataset, surfacing potential biases along three dimensions: (1) object-based, (2) person-based, and (3) geography-based. Object-based biases relate to the size, context, or diversity of the depicted objects. Person-based metrics focus on analyzing the portrayal of people within the dataset. Geography-based analyses consider the representation of different geographic locations. These three dimensions are deeply intertwined in how they interact to bias a dataset, and REVISE sheds light on this; the responsibility then lies with the user to consider the cultural and historical context, and to determine which of the revealed biases may be problematic. The tool further assists the user by suggesting actionable steps that may be taken to mitigate the revealed biases. Overall, the key aim of our work is to tackle the machine learning bias problem early in the pipeline. REVISE is available at https://github.com/princetonvisualai/revise-tool

研究动机与目标

• 解决在模型部署前大规模视觉数据集中缺乏系统性偏见检测的问题。
• 识别可能导致模型行为偏见的视觉数据中代表性不足或错误代表的现象。
• 为数据集创建者和使用者提供可操作的建议，以减轻检测到的偏见。
• 通过分析数据集中对象、人员和地理表征，实现偏见的主动缓解。
• 通过揭示人工审查可能遗漏的隐藏偏见，支持计算机视觉中的透明度与公平性。

提出的方法

• 使用三种偏见维度分析视觉数据集：基于对象的（频率、尺度、上下文、多样性）、基于人员的（人口统计代表性、性别/肤色标注）和基于地理的（区域代表性）。
• 利用对象共现模式和场景上下文，推断潜在的基于查询的数据收集策略。
• 生成查询建议（例如，“飞机和天空”对比“飞机和地面”），以恢复具有所需对象尺度的图像。
• 基于图像共现设计代理指标，当实际查询不可用时，估算原始搜索查询。
• 利用 Flickr 图像搜索结果验证查询的有效性，确认对对象大小和上下文的控制能力。
• 与真实世界数据集（COCO、OpenImages、YFCC100M、BDD100K）集成，以证明其实际应用价值。

实验结果

研究问题

• RQ1 如何在对象、人员和地理维度上系统性地检测视觉数据集中的偏见？
• RQ2 图像中对象的大小和上下文在多大程度上反映了潜在的数据收集偏见？
• RQ3 人口统计标注（如性别、肤色）与图像尺度和上下文之间有何相关性？它们可能带来何种风险？
• RQ4 地理来源在塑造数据集表征方面发挥何种作用，特别是在用户生成内容中？
• RQ5 当原始查询未知时，基于代理的查询建议能否有效恢复具有所需对象尺度的图像？

主要发现

• 在 COCO 中，飞机、床和比萨等对象经常被描绘为较大尺寸，可能由于空中或远距离视角的代表性不足，表明需要有针对性的数据收集。
• 在 OpenImages 中，69% 的小尺寸、低分辨率人物被标注为男性，表明存在将性别偏见传播至下游模型的风险。
• 在 YFCC100M 中，47% 的国家——尤其是发展中国家——主要由游客生成的照片代表，导致地理表征出现刻板印象。
• 基于查询的建议（例如，“比萨和教室”对比“比萨和西兰花”）成功控制了搜索结果中的对象大小，证明了通过针对性查询实现偏见缓解的可行性。
• 当实际查询不可用时，对象共现模式可作为原始搜索查询的可靠代理，从而实现有效的偏见分析。
• 该工具可在无需事先了解特定偏见类型的情况下，检测到此前未被察觉的偏见，从而增强主动公平性努力。