[论文解读] Unified Detection of Digital and Physical Face Attacks

Debayan Deb, Xiaoming Liu+1 more|arXiv (Cornell University)|Apr 5, 2021

Digital Media Forensic Detection被引用 5

一句话总结

该论文提出UniFAD，一种统一的面部攻击检测框架，通过多任务学习和k-means聚类，将25种多样的攻击类型——对抗性攻击、数字篡改和物理欺骗——聚类为一致的簇。通过联合学习通用攻击检测的共享表征与聚类攻击的特定任务特征，UniFAD在包含78.9万张图像的大规模数据集上实现了最先进的性能，即在0.2%的误报率下达到94.73%的真正检测率，同时以97.37%的准确率自动识别攻击类别。

ABSTRACT

State-of-the-art defense mechanisms against face attacks achieve near perfect accuracies within one of three attack categories, namely adversarial, digital manipulation, or physical spoofs, however, they fail to generalize well when tested across all three categories. Poor generalization can be attributed to learning incoherent attacks jointly. To overcome this shortcoming, we propose a unified attack detection framework, namely UniFAD, that can automatically cluster 25 coherent attack types belonging to the three categories. Using a multi-task learning framework along with k-means clustering, UniFAD learns joint representations for coherent attacks, while uncorrelated attack types are learned separately. Proposed UniFAD outperforms prevailing defense methods and their fusion with an overall TDR = 94.73% @ 0.2% FDR on a large fake face dataset consisting of 341K bona fide images and 448K attack images of 25 types across all 3 categories. Proposed method can detect an attack within 3 milliseconds on a Nvidia 2080Ti. UniFAD can also identify the attack types and categories with 75.81% and 97.37% accuracies, respectively.

研究动机与目标

• 解决现有面部攻击检测器在单一攻击类别（对抗性、数字篡改或物理欺骗）内表现良好但泛化能力不足的问题。
• 克服联合学习不一致攻击类型导致的性能下降问题，从而在多样化攻击类型中保持检测性能。
• 开发一种统一的检测框架，能够以高精度和低误报率检测三类共25种已知攻击类型。
• 实现对攻击类别（对抗性、数字篡改、物理欺骗）的高精度自动识别，提升可解释性和系统鲁棒性。
• 为面对不断演变的攻击威胁的自动化面部识别系统，构建可扩展且泛化能力强的解决方案。

提出的方法

• 提出一种具有共享分支和分支结构的多任务学习框架，以学习通用攻击检测的联合表征和聚类攻击类型的特定任务特征。
• 在共享主干网络（JointCNN）的特征嵌入上使用k-means聚类，基于攻击特征的相似性自动将25种攻击类型划分为4个一致的簇。
• 设计四分支架构，其中共享层提取通用特征，各分支则专门负责检测特定攻击簇。
• 通过将攻击类型聚类为三大类（对抗性、数字篡改、欺骗）作为基线，集成语义先验知识。
• 使用交叉熵损失进行检测任务，结合聚类损失以对齐簇内特征，从而提升泛化能力。
• 在GrandFake数据集上进行训练，该数据集包含34.1万张真实图像和44.8万张25种攻击类型的图像，以确保多样性和现实相关性。

实验结果

研究问题

• RQ1 统一的深度学习框架能否在不牺牲性能的前提下，有效检测涵盖数字和物理领域的多样化面部攻击？
• RQ2 基于学习到的特征相似性对攻击类型进行聚类，相较于联合训练所有攻击类型，能否显著提升检测泛化能力？
• RQ3 早期共享表征学习在异构攻击类型上的检测性能提升程度如何？
• RQ4 所提出的框架能否以高精度准确分类攻击类别（对抗性、数字篡改或欺骗）？
• RQ5 将k-means聚类与多任务学习结合，是否在攻击检测性能上优于启发式聚类或随机划分？

主要发现

• UniFAD在GrandFake数据集上实现了94.73%的真正检测率（TDR），在0.2%的误报率（FDR）下达到当前最优性能，优于现有方法及其融合结果。
• 该框架以97.37%的准确率识别攻击类别（对抗性、数字篡改、欺骗），支持诊断与自适应防御能力。
• 消融实验表明，对攻击类型进行k-means聚类可显著提升检测性能（89.67% TDR），远超联合训练（63.89% TDR）或随机划分（53.95% ± 8.02% TDR）。
• 在分支前引入共享层可将检测率从86.17%提升至92.44% TDR，证明了早期共享表征学习的优势。
• 表现最佳的分支（第4分支）在各类攻击上展现出最强泛化能力，可能归因于其学习了难以察觉的扰动和合成噪声，后者具有良好的泛化特性。
• 失败案例主要源于细微的物理欺骗（如透明面具、模糊）和难以察觉的对抗性扰动，凸显了在鲁棒检测方面仍存在的挑战。