[论文解读] SensitiveNets: Learning Agnostic Representations with Application to Face Recognition.

Aythami Morales, Julián Fiérrez+1 more|arXiv (Cornell University)|Feb 1, 2019

Face recognition and analysis参考文献 27被引用 37

一句话总结

该论文提出 SensitiveNets，一种神经网络框架，通过使用广义三元组损失从人脸特征空间中移除性别、种族等敏感属性，学习无偏见的表示。该方法在保持高人脸验证准确率的同时显著降低了人口统计偏差，在包含 24K 个身份的 120K 张图像的大规模均衡数据集上得到验证。

ABSTRACT

This work proposes a new neural network feature representation that help to leave out sensitive information in the decision-making process of pattern recognition and machine learning algorithms. The aim of this work is to develop a learning method capable to remove certain information from the feature space without drop of performance in a recognition task based on that feature space. Our work is in part motivated by the new international regulation for personal data protection, which forces data controllers to avoid discriminative hazards while managing sensitive data of users. Our method is based on a triplet loss learning generalization that introduces a sensitive information removal process. The method is evaluated on face recognition technologies using state-of-the-art algorithms and publicly available benchmarks. In addition, we present a new annotation dataset with balanced distribution between genders and ethnic origins. The dataset includes more than 120K images from 24K identities with variety of poses, image quality, facial expressions, and illumination. The experiments demonstrate that it is possible to reduce sensitive information such as gender or ethnicity in the feature representation while retaining competitive performance in a face recognition task.

研究动机与目标

• 通过最小化敏感属性泄露来应对人脸识别中日益增长的监管和伦理问题。
• 开发一种深度学习方法，从学习到的特征表示中移除敏感信息（如性别、种族），同时不降低识别性能。
• 创建一个大规模、均衡的基准数据集，涵盖多样的姿态、光照、表情以及均衡的性别和种族分布，以支持公平评估。
• 证明可以在保持人脸识别任务竞争力的同时，有效抑制特征空间中的敏感信息。

提出的方法

• 引入一种广义三元组损失函数，在特征学习过程中引入敏感属性不变性。
• 训练网络使锚点与正样本之间的距离最小化，同时与负样本之间的距离最大化，且不受敏感属性影响。
• 应用敏感属性移除模块，在训练过程中将敏感属性与主表示空间解耦。
• 采用双流结构，其中一条分支学习与身份无关的特征，另一条分支通过对抗性或对比正则化抑制敏感属性。
• 利用包含 120K 张图像、来自 24K 个身份的大规模均衡数据集，涵盖多样的姿态、光照、表情和人口统计群体。
• 使用联合损失端到端优化模型，平衡身份识别准确率与敏感属性抑制。

实验结果

研究问题

• RQ1 是否可以训练深度神经网络，使其学习对性别和种族等敏感属性具有不变性的面部表征，同时不牺牲识别准确率？
• RQ2 通过修改的三元组损失目标，能在多大程度上从学习到的特征空间中移除敏感信息？
• RQ3 当在性别和种族分布均衡的数据集上训练时，人脸识别模型的性能与在不平衡基准上相比有何变化？
• RQ4 是否可能在嵌入空间中将身份信息与敏感属性解耦，同时保持高下游识别性能？

主要发现

• 所提出的 SensitiveNets 方法成功减少了学习到的人脸表征中对性别和种族等敏感属性的泄露，同时保持了具有竞争力的人脸识别准确率。
• 实验表明，即使在特征空间中抑制了敏感属性，该模型在标准人脸识别基准上仍表现出高精度。
• 包含 120K 张图像、来自 24K 个身份的大规模均衡数据集，使得对多样化人口群体的人脸识别模型评估更加稳健和公平。
• 带有敏感属性不变性约束的广义三元组损失，能有效学习对人口统计偏差具有鲁棒性的表征，且无性能下降。
• 该方法证明，可以在不损害模型区分不同身份能力的前提下，从特征表示中移除敏感信息。
• 结果证实，通过在训练过程中显式学习无偏见表征，可以构建更公平的人脸识别系统。