[论文解读] Towards Unsupervised Domain Adaptation for Deep Face Recognition under Privacy Constraints via Federated Learning

Weiming Zhuang, Xin Gan+4 more|arXiv (Cornell University)|May 17, 2021

Face recognition and analysis参考文献 39被引用 10

一句话总结

本文提出 FedFR，一种新颖的联邦无监督域自适应框架，用于在严格隐私约束下进行深度人脸识别。通过结合改进的层次聚类进行无标签目标域伪标签生成，以及一种域约束的联邦学习流程，FedFR 在不共享原始人脸数据的情况下，在真实基准上实现了超过 4% 的性能提升，显著增强了跨域泛化能力，同时保护了数据隐私。

ABSTRACT

Unsupervised domain adaptation has been widely adopted to generalize models for unlabeled data in a target domain, given labeled data in a source domain, whose data distributions differ from the target domain. However, existing works are inapplicable to face recognition under privacy constraints because they require sharing sensitive face images between two domains. To address this problem, we propose a novel unsupervised federated face recognition approach (FedFR). FedFR improves the performance in the target domain by iteratively aggregating knowledge from the source domain through federated learning. It protects data privacy by transferring models instead of raw data between domains. Besides, we propose a new domain constraint loss (DCL) to regularize source domain training. DCL suppresses the data volume dominance of the source domain. We also enhance a hierarchical clustering algorithm to predict pseudo labels for the unlabeled target domain accurately. To this end, FedFR forms an end-to-end training pipeline: (1) pre-train in the source domain; (2) predict pseudo labels by clustering in the target domain; (3) conduct domain-constrained federated learning across two domains. Extensive experiments and analysis on two newly constructed benchmarks demonstrate the effectiveness of FedFR. It outperforms the baseline and classic methods in the target domain by over 4% on the more realistic benchmark. We believe that FedFR will shed light on applying federated learning to more computer vision tasks under privacy constraints.

研究动机与目标

• 解决当标注源数据与无标签目标数据分布在受隐私保护的各个域时，人脸识别中的域偏移问题。
• 克服现有无监督域自适应方法需要共享原始人脸图像的局限，避免违反隐私法规。
• 开发一种联邦学习框架，实现在不发生数据泄露的前提下，从标注源域向无标签目标域迁移知识。
• 设计一种域约束损失（DCL），以缓解因域间数据不平衡（尤其是源域数据量显著更多时）导致的性能下降。
• 利用预训练源模型提取的特征，通过改进的层次聚类算法，提升无标签目标数据的伪标签生成准确性。

提出的方法

• 使用监督学习在标注源域数据上预训练深度人脸识别模型。
• 应用带有距离约束的改进层次聚类算法，利用预训练源模型提取的特征，为无标签目标域样本生成准确的伪标签。
• 启动联邦学习过程，使源域与目标域协同训练——源域使用真实标签，目标域使用伪标签——同时仅共享模型权重。
• 引入一种域约束损失（DCL），对源域模型进行正则化，防止其因数据量过大而过拟合，促进与全局模型对齐，从而提升目标域的泛化能力。
• 由中央服务器聚合来自两个域的模型更新，并将全局模型重新分发，通过仅传输模型实现数据隐私保护。
• 构建端到端流程：(1) 源域预训练，(2) 通过聚类实现目标域伪标签生成，(3) 带 DCL 正则化的迭代联邦知识蒸馏。

实验结果

研究问题

• RQ1 在原始人脸图像无法在域之间共享的严格数据隐私约束下，能否有效应用人脸识别的无监督域自适应？
• RQ2 当目标域无任何标注数据且源域数据量显著更多时，如何调整联邦学习以支持无监督域自适应？
• RQ3 带有距离约束的改进层次聚类在多大程度上能提升无标签目标人脸数据的伪标签生成准确性？
• RQ4 在源域训练中引入域约束损失（DCL）是否能显著提升目标域性能，尤其是在数据不平衡的情况下？
• RQ5 所提出的联邦框架是否能在真实、隐私受限的人脸识别场景中超越标准微调和基线域自适应方法？

主要发现

• FedFR 在更具现实性的 FedFR-L 基准上，相比基线方法和经典无监督域自适应方法，性能提升超过 4%，证明了在隐私约束下显著的性能增益。
• 引入域约束损失（DCL）后，在 FedFR-L 基准上，FAR=0.01 时验证准确率绝对提升 0.43%，且在数据量较少的目标域上提升最大。
• 在 FedFR-L 基准上，FedFR 在非洲数据集上达到 93.26% 的 rank-1 准确率，相比无 DCL 的基线方法提升 1.79%。
• 消融实验表明，每个组件——预训练、聚类、联邦学习和 DCL——均对性能有增量贡献，尤其在数据不平衡时，DCL 的影响最为显著。
• 若在联邦过程中缺失源域，将导致灾难性遗忘，非洲数据集上的性能急剧下降，凸显了源域在稳定知识迁移中的必要性。
• 实验表明，FedFR 在多种评估协议（如 TAR@FAR=0.1、0.01、0.001）下均保持强劲性能，证实其在真实世界场景中的鲁棒性与泛化能力。