[论文解读] TransRPPG: Remote Photoplethysmography Transformer for 3D Mask Face Presentation Attack Detection

Zitong Yu, Xiaobai Li+2 more|arXiv (Cornell University)|Apr 15, 2021

Non-Invasive Vital Sign Monitoring参考文献 37被引用 6

一句话总结

该论文提出 TransRPPG，一种轻量级视觉Transformer框架，能够从面部和背景的多尺度时空图中自动学习基于rPPG的活体表征，用于3D面具人脸呈现攻击检测。该方法仅使用547K参数和763M FLOPs，即在跨数据集测试中实现了98.77%的AUC，达到当前最优性能。

ABSTRACT

3D mask face presentation attack detection (PAD) plays a vital role in securing face recognition systems from emergent 3D mask attacks. Recently, remote photoplethysmography (rPPG) has been developed as an intrinsic liveness clue for 3D mask PAD without relying on the mask appearance. However, the rPPG features for 3D mask PAD are still needed expert knowledge to design manually, which limits its further progress in the deep learning and big data era. In this letter, we propose a pure rPPG transformer (TransRPPG) framework for learning intrinsic liveness representation efficiently. At first, rPPG-based multi-scale spatial-temporal maps (MSTmap) are constructed from facial skin and background regions. Then the transformer fully mines the global relationship within MSTmaps for liveness representation, and gives a binary prediction for 3D mask detection. Comprehensive experiments are conducted on two benchmark datasets to demonstrate the efficacy of the TransRPPG on both intra- and cross-dataset testings. Our TransRPPG is lightweight and efficient (with only 547K parameters and 763M FLOPs), which is promising for mobile-level applications.

研究动机与目标

• 为解决在3D面具人脸呈现攻击检测（PAD）中手工设计rPPG特征的局限性，该局限性在深度学习和大数据环境下阻碍了进展。
• 开发一种端到端、数据驱动的rPPG表征学习框架，消除对专家设计特征的依赖。
• 探索视觉Transformer在建模rPPG信号中全局时空关系以实现活体检测方面的有效性。
• 提升在跨数据集设置下的泛化能力和鲁棒性，特别是在低保真度或高保真度3D面具攻击场景下。
• 设计一种适合移动设备级部署、计算成本极低的轻量级架构。

提出的方法

• 从面部皮肤区域和背景区域提取多尺度时空图（MSTmaps），利用来自多个面部感兴趣区域（ROIs）的原始彩色方差信号。
• 使用双分支视觉Transformer（共享权重）从MSTmaps中提取rPPG和环境特征，实现面部与背景信号的解耦学习。
• 对MSTmaps进行分块标记化处理，支持可配置的空间与时间块大小（例如，3×30且具有1×15重叠）。
• 在视觉Transformer中利用自注意力机制，建模MSTmaps内部的长程依赖关系与全局关系，以增强活体表征。
• 引入两个独立的监督头和损失函数（$\mathcal{L}_{face}$ 和 $π_{bg}$），分别指导面部与背景分支的特征学习。
• 通过额外的Transformer层融合并优化联合特征，生成最终的二分类预测（真实 vs. 3D面具攻击）。

实验结果

研究问题

• RQ1 纯Transformer架构是否能无需依赖手工设计的信号处理方法，自动学习有效的rPPG特征用于3D面具PAD？
• RQ2 MSTmap输入的设计（空间-时间分辨率、块大小、重叠方式）如何影响Transformer在活体检测中的性能？
• RQ3 背景区域特征对整体检测性能的贡献如何？对人脸与背景进行解耦学习是否能提升鲁棒性？
• RQ4 当在有限数据上训练时，模型在不同数据质量与攻击保真度的数据集之间如何实现泛化，尤其是在跨数据集设置下？
• RQ5 轻量级Transformer架构是否能在极低参数量与FLOPs下实现高精度，从而适用于移动设备部署？

主要发现

• TransRPPG在跨数据集测试中（MARsV2 → 3DMAD）达到98.77% AUC，展现出强大的泛化能力。
• 在10秒视频片段上达到96.89% AUC，在7秒片段上达到96.06%，表明即使在输入序列较短时仍具鲁棒性。
• 当视频长度低于5秒时，AUC下降至90%以下，凸显在时间受限场景下的局限性。
• 采用3×30块大小与1×15重叠采样时性能最佳，优于更小或更大的配置。
• 浅层Transformer（6层）配合92维嵌入向量可达到最高AUC（98.77%），表明深度比宽度更为关键。
• 采用双分支架构并为面部与背景MSTmaps分别施加监督，相比输入拼接方式，AUC提升近2%，证实了解耦学习的有效性。