[论文解读] Towards Fairness in Visual Recognition: Effective Strategies for Bias Mitigation

Zeyu Wang, Klint Qinami+5 more|arXiv (Cornell University)|Nov 26, 2019

Domain Adaptation and Few-Shot Learning参考文献 55被引用 21

一句话总结

本文提出一个受控基准以评估视觉识别中的偏见缓解效果，表明一种简单的无领域依赖训练策略优于复杂的对抗性方法。该方法在CelebA数据集上减少了属性分类中的性别偏见，同时将mAP从74.7%提升至76.3%。

ABSTRACT

Computer vision models learn to perform a task by capturing relevant statistics from training data. It has been shown that models learn spurious age, gender, and race correlations when trained for seemingly unrelated tasks like activity recognition or image captioning. Various mitigation techniques have been presented to prevent models from utilizing or learning such biases. However, there has been little systematic comparison between these techniques. We design a simple but surprisingly effective visual recognition benchmark for studying bias mitigation. Using this benchmark, we provide a thorough analysis of a wide range of techniques. We highlight the shortcomings of popular adversarial training approaches for bias mitigation, propose a simple but similarly effective alternative to the inference-time Reducing Bias Amplification method of Zhao et al., and design a domain-independent training technique that outperforms all other methods. Finally, we validate our findings on the attribute classification task in the CelebA dataset, where attribute presence is known to be correlated with the gender of people in the image, and demonstrate that the proposed technique is effective at mitigating real-world gender bias.

研究动机与目标

• 为解决深度视觉识别模型中偏见缓解技术之间缺乏系统性比较的问题。
• 设计一个受控基准，以隔离并量化训练数据中的虚假相关性（例如，性别-属性偏差）。
• 在相同条件下评估并比较现有缓解策略——对抗性训练、偏见放大减少、领域特定学习。
• 在真实世界数据上验证结果，特别是CelebA属性分类任务中的性别偏见。
• 提出并展示一种无领域依赖的训练方法，可在无需领域特定适配的情况下有效缓解偏见。

提出的方法

• 通过数据集增强构建一个合成视觉识别基准，引入输入属性（如性别）与标签（如活动）之间的受控、虚假相关性。
• 训练一个双分支卷积神经网络，共享特征并为每个领域（如男性/女性）设置独立的预测头，以支持领域特定和无领域依赖的推理。
• 实施一种无领域依赖的推理策略，通过领域条件概率计算预测结果的加权平均值。
• 采用多任务损失函数，结合分类损失和领域分类器损失，以促进敏感属性与任务相关特征的解耦。
• 为对比，应用推理时校正方法——Zhao等人提出的RBA（减少偏见放大）方法。
• 使用mAP（平均平均精度）和偏见放大（BA）指标评估模型，其中BA用于衡量性别与属性预测之间的相关性。

实验结果

研究问题

• RQ1 在视觉识别中，不同偏见缓解技术在受控、孤立的虚假相关性条件下表现如何？
• RQ2 对抗性训练是否能在不损害视觉识别任务准确率的前提下有效减少偏见？
• RQ3 无领域依赖的训练策略是否优于领域特定或对抗性方法，在缓解偏见方面表现更优？
• RQ4 属性中性别不平衡程度如何影响所提方法在真实世界数据上的性能提升？
• RQ5 所提方法是否能在多标签、真实世界基准（如CelebA）上泛化，同时保持高准确率与公平性？

主要发现

• 对抗性训练降低了偏见放大（BA从0.010降至0.019），但损害了mAP（基线为74.7%，对抗性方法为71.9%），表明公平性与准确率之间存在权衡。
• 无领域依赖训练方法实现了最高的mAP（76.3%）和最低的偏见放大（-0.035），优于基线和对抗性基线。
• 无领域依赖模型在CelebA测试集上相比基线mAP提升了1.6个百分点，尤其在性别不平衡程度高的属性上（如偏度超过80%）提升最大。
• 属性偏度与性能增益之间存在强相关性（ρ = 0.709），证实该方法在偏见显著时最为有效。
• 过采样方法实现了最高的mAP（77.6%），但在高偏度、低相似性场景下效果较差，凸显了数据增强与网络架构设计之间的权衡。
• 所提无领域依赖方法比复杂的对抗性或推理时校正方法更简单且更有效，尤其在真实世界、多标签设置中表现更优。