[论文解读] Towards Gender-Neutral Face Descriptors for Mitigating Bias in Face Recognition

Prithviraj Dhar, Joshua Gleason+3 more|arXiv (Cornell University)|Jun 14, 2020

Face recognition and analysis参考文献 37被引用 7

一句话总结

本文提出 AGENDA，一种对抗性去偏框架，通过减少预训练人脸嵌入表示中的性别信息，以缓解人脸识别中的隐私泄露与性别偏见。通过对抗性训练网络在保留身份信息的同时最小化性别可预测性，AGENDA 在验证任务中显著降低了性别偏见（例如在 10⁻⁶ FPR 下偏见降低 50%），同时仅造成轻微的准确率下降，提供了一种与训练数据构成无关的可扩展后处理解决方案。

ABSTRACT

State-of-the-art deep networks implicitly encode gender information while being trained for face recognition. Gender is often viewed as an important attribute with respect to identifying faces. However, the implicit encoding of gender information in face descriptors has two major issues: (a.) It makes the descriptors susceptible to privacy leakage, i.e. a malicious agent can be trained to predict the face gender from such descriptors. (b.) It appears to contribute to gender bias in face recognition, i.e. we find a significant difference in the recognition accuracy of DCNNs on male and female faces. Therefore, we present a novel `Adversarial Gender De-biasing algorithm (AGENDA)' to reduce the gender information present in face descriptors obtained from previously trained face recognition networks. We show that AGENDA significantly reduces gender predictability of face descriptors. Consequently, we are also able to reduce gender bias in face verification while maintaining reasonable recognition performance.

研究动机与目标

• 解决预训练人脸嵌入表示中编码的性别信息导致的隐私泄露问题。
• 在不改变训练数据构成的前提下，降低人脸识别中的性别偏见。
• 开发一种无需依赖性别平衡训练数据的后处理、可扩展方法。
• 评估人脸嵌入表示中性别可预测性与验证偏见之间的关系。
• 证明减少嵌入表示中的性别信息可带来更公平的验证性能。

提出的方法

• AGENDA 是一种对抗性自编码器，以预训练的人脸嵌入表示为输入，学习生成与性别无关的表示。
• 该模型采用双流结构：一条分支用于身份分类（监督学习），另一条分支用于性别预测（对抗学习）。
• 训练过程中，身份分支通过准确率进行优化，而性别分支则被优化为预测错误，从而迫使嵌入表示丢失性别信息。
• 损失函数结合了身份分类损失与对抗损失，以在保留身份判别能力的同时最小化性别可预测性。
• 训练完成后，AGENDA 将原始嵌入表示转换为去偏后的性别无关表示，可直接用于下游验证任务。
• 该方法在 IJB-C 数据集上基于 ArcFace 和 CrystalFace 嵌入表示进行评估，并对 TPE 和基于 PCA 的基线方法进行了消融实验。

实验结果

研究问题

• RQ1 降低人脸嵌入表示中的性别可预测性是否能有效减少人脸识别中的性别偏见？
• RQ2 对抗性框架能否在不重新训练原始识别网络的前提下有效去偏人脸嵌入表示？
• RQ3 与基于 PCA 的基线方法相比，AGENDA 在减少性别偏见方面的性能表现如何？
• RQ4 使用去偏嵌入表示时，性别偏见降低与验证准确率之间的权衡关系如何？
• RQ5 在去偏嵌入表示上应用三元组概率嵌入（TPE）是否会放大或缓解性别偏见？

主要发现

• AGENDA 显著降低了人脸嵌入表示中的性别可预测性，其性别分类准确率相比原始嵌入表示降低了 50%。
• 在 10⁻⁶ 的假阳性率下，AGENDA 将验证任务中的性别偏见从原始的 0.11 降低至 0.06，展现出显著的公平性提升。
• 该方法在偏见减少方面优于 CorrPCA 基线，尤其在低 FPR 区域表现更优，而该区域的偏见问题最为关键。
• 经过 AGENDA 转换后，验证准确率略有下降，但依然保持较高水平（例如在 10⁻⁶ FPR 下男性真阳性率仍达 0.57），表明性能损失极小。
• 在 AGENDA 转换后应用 TPE 可进一步降低偏见，相比在原始嵌入上应用 TPE，显示出与下游处理流程的良好兼容性。
• CrystalFace 嵌入表示的前 256 个主成分向量表现出比 ArcFace 更高的性别相关性，表明部分模型中存在更严重的性别-身份纠缠现象。