[论文解读] RobFR: Benchmarking Adversarial Robustness on Face Recognition

Xiao Yang, Dingcheng Yang+4 more|arXiv (Cornell University)|Jul 8, 2020

Adversarial Robustness in Machine Learning参考文献 55被引用 7

一句话总结

本论文提出了RobFR，一个全面的基准测试框架，用于评估面部识别中对抗性鲁棒性，涵盖15个自然训练模型、9种防御方法及2个商业API。该研究提出了一种基于关键点引导的剪切攻击（LGC），以提升黑盒攻击的迁移能力，并发现轻量级模型极易受到攻击，而对抗性训练虽能提供强鲁棒性，但以牺牲准确率和训练效率为代价。

ABSTRACT

Face recognition (FR) has recently made substantial progress and achieved high accuracy on standard benchmarks. However, it has raised security concerns in enormous FR applications because deep CNNs are unusually vulnerable to adversarial examples, and it is still lack of a comprehensive robustness evaluation before a FR model is deployed in safety-critical scenarios. To facilitate a better understanding of the adversarial vulnerability on FR, we develop an adversarial robustness evaluation library on FR named extbf{RobFR}, which serves as a reference for evaluating the robustness of downstream tasks. Specifically, RobFR involves 15 popular naturally trained FR models, 9 models with representative defense mechanisms and 2 commercial FR API services, to perform the robustness evaluation by using various adversarial attacks as an important surrogate. The evaluations are conducted under diverse adversarial settings in terms of dodging and impersonation, $\ell_2$ and $\ell_\infty$, as well as white-box and black-box attacks. We further propose a landmark-guided cutout (LGC) attack method to improve the transferability of adversarial examples for black-box attacks by considering the special characteristics of FR. Based on large-scale evaluations, the commercial FR API services fail to exhibit acceptable performance on robustness evaluation, and we also draw several important conclusions for understanding the adversarial robustness of FR models and providing insights for the design of robust FR models. RobFR is open-source and maintains all extendable modules, i.e., \emph{Datasets}, \emph{FR Models}, \emph{Attacks\&Defenses}, and \emph{Evaluations} at \url{https://github.com/ShawnXYang/Face-Robustness-Benchmark}, which will be continuously updated to promote future research on robust FR.

研究动机与目标

• 为解决在安全关键应用中面部识别模型缺乏全面对抗性鲁棒性评估的问题。
• 建立一个标准化基准，用于比较不同面部识别模型、防御方法和攻击设置下的鲁棒性表现。
• 研究面部识别中对抗性样本的迁移能力，特别是在黑盒设置下的表现。
• 评估各种防御机制（包括对抗性训练和输入变换）在面部识别模型上的有效性。
• 通过分析模型架构、损失函数和扰动范数的影响，为设计更鲁棒的面部识别系统提供可操作的洞见。

提出的方法

• 开发了RobFR，一个开源的基准测试库，具备模块化组件：数据集、面部识别模型、攻击与防御方法、评估模块。
• 在ℓ₂和ℓ∞范数下，针对白盒和黑盒攻击设置，评估了15个自然训练的面部识别模型和9种防御模型。
• 提出了一种基于关键点引导的剪切攻击（LGC），利用面部关键点先验知识，提升黑盒攻击中的迁移能力。
• 采用攻击成功率（ASR）、鲁棒性曲线和基于迁移的ASR作为核心评估指标，覆盖LFW、YTF、CFP-FP和MegaFace等多个数据集。
• 在躲避攻击和冒充攻击场景下开展大规模实验，评估不同威胁模型下模型的脆弱性。
• 在黑盒设置中采用迭代攻击（如BIM、MIM），迭代100次，并设定固定的扰动预算（ε=8用于ℓ∞，ε=4用于ℓ₂）。

实验结果

研究问题

• RQ1 在不同攻击设置下，对抗性鲁棒性在各类面部识别模型中如何变化？
• RQ2 对抗性训练和输入变换等防御机制在多大程度上提升了面部识别中的鲁棒性？
• RQ3 模型架构在黑盒攻击中如何影响对抗性样本的迁移能力？
• RQ4 基于关键点的先验知识能否提升面部识别任务中对抗性样本的迁移能力？
• RQ5 不同损失函数（如基于边缘的损失与三元组损失）如何影响对抗性鲁棒性和迁移能力？

主要发现

• 商业面部识别API服务表现出较差的鲁棒性，在对抗性攻击下，尤其在黑盒设置中，难以维持高准确率。
• 轻量级模型（如MobileNet和ShuffleNet）在所有攻击类型和范数下均表现出比大型架构更高的脆弱性。
• 对抗性训练（AT）在各类防御方法中提供了最强的鲁棒性，但导致自然准确率下降，并带来高昂的训练成本。
• 采用角度边缘损失训练的模型（如ArcFace、CosFace）表现出相互迁移能力，而使用欧氏空间三元组损失训练的FaceNet则最难被迁移。
• 所提出的LGC攻击通过利用面部关键点先验，显著提升了对抗性样本在黑盒攻击中的迁移能力，优于FGSM、BIM和MIM等标准攻击方法。
• 鲁棒性趋势在多个数据集（LFW、YTF、CFP-FP、MegaFace）中保持一致，表明研究发现具有良好的泛化能力。