[论文解读] Racial Faces in-the-Wild: Reducing Racial Bias by Information Maximization Adaptation Network

Mei Wang, Weihong Deng+3 more|arXiv (Cornell University)|Dec 1, 2018

Face recognition and analysis参考文献 70被引用 32

一句话总结

本文提出 IMAN，一种深度无监督域自适应网络，通过对齐全局域分布并利用新颖的互信息损失增强判别性聚类级表征，以减少人脸识别中的种族偏见。在新提出的 Racial Faces in-the-Wild（RFW）数据集上评估，IMAN 显著提升了各族裔的识别准确率，尤其在非裔和亚裔人群中表现突出，相较于商业 API 和 SOTA 模型，对少数群体的性能提升最高达 12%。

ABSTRACT

Racial bias is an important issue in biometric, but has not been thoroughly studied in deep face recognition. In this paper, we first contribute a dedicated dataset called Racial Faces in-the-Wild (RFW) database, on which we firmly validated the racial bias of four commercial APIs and four state-of-the-art (SOTA) algorithms. Then, we further present the solution using deep unsupervised domain adaptation and propose a deep information maximization adaptation network (IMAN) to alleviate this bias by using Caucasian as source domain and other races as target domains. This unsupervised method simultaneously aligns global distribution to decrease race gap at domain-level, and learns the discriminative target representations at cluster level. A novel mutual information loss is proposed to further enhance the discriminative ability of network output without label information. Extensive experiments on RFW, GBU, and IJB-A databases show that IMAN successfully learns features that generalize well across different races and across different databases.

研究动机与目标

• 建立一个公平的基准，用于衡量深度人脸识别中的种族偏见。
• 通过实证验证商业 API 和 SOTA 深度学习模型中种族偏见的存在及其根本原因。
• 开发一种域自适应框架，无需目标数据标签即可缓解种族偏见。
• 通过无监督方式对齐域分布并增强判别性特征学习，以提升跨种族泛化能力。

提出的方法

• 提出 Racial Faces in-the-Wild（RFW）数据集，包含 6,000 个困难正例对，涵盖四种种族（高加索人、印度人、亚洲人、非洲人），以公平评估种族偏见。
• 采用无监督域自适应方法，以高加索人脸作为源域，其他种族作为目标域。
• 使用谱聚类生成预自适应阶段的伪标签，即使身份无重叠，也能实现分类器训练。
• 提出一种新颖的互信息（MI）损失，利用所有未标注的目标数据增强判别能力，而无需依赖伪标签质量。
• 结合最大均值差异（MMD）实现全局域对齐，同时利用基于 MI 的损失实现聚类级别的判别性学习。
• 采用 Arcface 作为基础分类损失，并以端到端无监督方式微调网络。

实验结果

研究问题

• RQ1 深度人脸识别在商业 API 和 SOTA 模型中是否表现出显著的种族偏见？
• RQ2 训练数据不平衡与算法设计在多大程度上导致人脸识别中的种族偏见？
• RQ3 当源域与目标域无重叠身份时，无监督域自适应能否有效减少种族偏见？
• RQ4 在缺乏目标标签的情况下，互信息最大化如何提升特征的可分性？
• RQ5 所提出的 IMAN 框架是否可泛化至其他域差距（如姿态、光照、图像质量差异）以减少偏见？

主要发现

• 在 RFW 数据集上，商业 API 和 SOTA 模型在非裔人脸上的识别准确率相比高加索人脸最高低 14.5%，证实了显著的种族偏见。
• IMAN 在印度人脸上的平均验证准确率达到 93.55%，在亚裔人脸为 89.87%，在非裔人脸为 88.88%，平均优于最佳基线模型 2.5% 以上。
• 消融实验表明，伪标签和 MI 损失均至关重要：移除任一成分，平均性能下降超过 2.3%。
• 通过 t-SNE 可视化与 MMD 分数分析，IMAN 相较于 Arcface 将域差异降低了 40%。
• 在 GBU 数据集上，IMAN 在 FAR 0.001 时达到 98.88% 的验证率，优于 SOTA 方法 2.88%。
• 在 IJB-A 数据集上，IMAN 实现 94.05% 的 rank-1 识别准确率，超越此前 SOTA 模型 3.37%。