[论文解读] Predictive Inequity in Object Detection

Benjamin Wilson, Judy Hoffman+1 more|arXiv (Cornell University)|Feb 21, 2019

Advanced Neural Network Applications参考文献 21被引用 154

一句话总结

本文研究尖端行人检测器是否在 Fitzpatrick 肤色类型之间表现不均衡，对 BDD100K 进行了肤色标签注释，并分析跨模型、数据源和训练损失的预测差异。

ABSTRACT

In this work, we investigate whether state-of-the-art object detection systems have equitable predictive performance on pedestrians with different skin tones. This work is motivated by many recent examples of ML and vision systems displaying higher error rates for certain demographic groups than others. We annotate an existing large scale dataset which contains pedestrians, BDD100K, with Fitzpatrick skin tones in ranges [1-3] or [4-6]. We then provide an in-depth comparative analysis of performance between these two skin tone groupings, finding that neither time of day nor occlusion explain this behavior, suggesting this disparity is not merely the result of pedestrians in the 4-6 range appearing in more difficult scenes for detection. We investigate to what extent time of day, occlusion, and reweighting the supervised loss during training affect this predictive bias.

研究动机与目标

• 在一个大型驾驶数据集中，衡量 Fitzpatrick 肤色类型 1-3 (LS) 与 4-6 (DS) 之间的行人检测预测不平等。
• 评估时间、遮挡或损失优先级是否能解释观察到的差异。
• 比较多种模型架构和训练数据源，以评估不平等性的鲁棒性。
• 通过损失加权进行简单纠正，以减少预测差异。

提出的方法

• 使用 Mechanical Turk 将 BDD100K 行人标注为 Fitzpatrick 肤色类型，建立 LS 与 DS 组。
• 在 BDD100K 验证集上使用 AP、AP50 和 AP75 指标量化各模型中 LS 与 DS 之间的差异。
• 评估多种架构（Faster R-CNN、Mask R-CNN）及骨干网络，权重来自 MS COCO 或 BDD100K 训练。
• 通过分离遮挡与未遮挡的行人，以及日间与夜间图像，分析不平等的来源。
• 在检测器的分类损失中测试损失加权方案，以减少 LS/DS 差距。

实验结果

研究问题

• RQ1 对象检测器是否在 BDD100K 上对 LS (1-3) 行人比对 DS (4-6) 行人具有更高的预测准确性？
• RQ2 差异是否归因于遮挡、时段或对多数群体的损失函数偏倚？
• RQ3 训练数据的选择（MS COCO 与 BDD100K）或模型架构是否放大或缓解预测不平等？
• RQ4 重新加权监督损失是否能在不损害总体性能的前提下降低 LS/DS 的性能差距？

主要发现

• 检测器在 LS 上的 AP 一直高于 DS，最大差距出现在 AP75（精确定位）。
• 差异在模型、数据源（MS COCO 与 BDD100K）以及架构（Faster R-CNN、Mask R-CNN）之间持续存在。
• 去除遮挡对两组都有所提升，但未能消除 LS/DS 差距。
• 仅时间段不能解释差异；日间结果显示 LS>DS，而夜间结果因 DS 样本量小而结论不确定。
• 在训练中对 DS 损失进行再加权在某些设置下可以降低 DS 差距，表明损失优先级对预测不平等有贡献。