[论文解读] Two-stream Convolutional Networks for Multi-frame Face Anti-spoofing

Zhuoyi Zhang, Cheng Jiang+3 more|arXiv (Cornell University)|Aug 9, 2021

Biometric Identification and Security参考文献 34被引用 4

一句话总结

本文提出了一种轻量级双流卷积网络，用于多帧人脸反欺骗，通过结合多帧RGB输入和RGB差分图像，捕捉互补的时空特征。通过集成具有相反融合方向的特征金字塔模块（FPM）与金字塔池化模块（PPM），该模型在多个基准测试中实现了最先进（SOTA）的性能，且参数量显著减少，在准确率和效率方面均优于现有方法。

ABSTRACT

Face anti-spoofing is an important task to protect the security of face recognition. Most of previous work either struggle to capture discriminative and generalizable feature or rely on auxiliary information which is unavailable for most of industrial product. Inspired by the video classification work, we propose an efficient two-stream model to capture the key differences between live and spoof faces, which takes multi-frames and RGB difference as input respectively. Feature pyramid modules with two opposite fusion directions and pyramid pooling modules are applied to enhance feature representation. We evaluate the proposed method on the datasets of Siw, Oulu-NPU, CASIA-MFSD and Replay-Attack. The results show that our model achieves the state-of-the-art results on most of datasets' protocol with much less parameter size.

研究动机与目标

• 为解决在真实人脸验证系统中区分活体人脸与欺骗攻击（如打印、重放）的挑战。
• 开发一种轻量级、高效的模型，避免依赖深度或红外等辅助数据，这些数据在工业应用中通常不可用。
• 通过捕捉多帧视频中细微的运动线索和稳健的空间模式，增强特征表示能力。
• 通过使用RGB差分输入和注意力机制，减少RGB图像中冗余面部外观特征导致的过拟合。

提出的方法

• 模型采用双流架构：一条分支使用CNN-LSTM主干网络处理原始多帧RGB输入，配备反向融合方向的特征金字塔模块（FPM）与金字塔池化模块（PPM）。
• 第二条分支处理堆叠的RGB差分图像——即连续帧之间逐像素差分结果——以突出运动与时间动态特性，同时减少对人脸外观的过拟合。
• 具有相反融合方向的特征金字塔模块可增强多尺度特征学习，提升对细微运动与结构伪影的表征能力。
• 金字塔池化模块在空间尺度上聚合特征，增强对人脸尺寸与姿态变化的鲁棒性。
• 分支监督策略利用RGB差分分支的空间注意力掩码，引导多帧分支的特征学习，但实验表明该融合方式带来的增益有限。
• 最终预测通过拼接并分类两个分支的得分输出实现，结合其互补优势。

实验结果

研究问题

• RQ1 双流CNN架构能否有效利用多帧RGB与RGB差分输入，以提升人脸反欺骗性能？
• RQ2 在资源受限环境下，具有相反融合方向的特征金字塔模块如何增强时空特征学习？
• RQ3 使用RGB差分图像在多大程度上可减少对人脸外观的过拟合，同时保留与欺骗相关的运动线索？
• RQ4 集成金字塔池化模块与特征金字塔模块是否能提升在多样化反欺骗协议下的泛化能力？
• RQ5 轻量级模型能否在不依赖深度或红外等辅助数据的情况下实现SOTA性能？

主要发现

• 所提出的双流模型在SiW、Oulu-NPU、CASIA-MFSD与Replay-Attack数据集的多数协议上实现了SOTA性能，且在SiW数据集的跨测试中ACER达到1.2%。
• 该模型在SiW数据集上达到HTER 8.0%，显著优于基线单流模型（HTER: 11.0%）及其他消融变体。
• 将RGB差分图像作为输入之一，有效减少过拟合并增强对细微运动伪影的检测能力，从而提升泛化性能。
• 在消融研究中，风格迁移与去噪方法在跨测试中提升了性能，但代价是参数量增加，表明准确率与效率之间存在权衡。
• 分支监督策略本意通过跨分支注意力机制改善特征学习，但未带来性能提升，表明独立学习互补特征更为有效。
• 该模型采用紧凑设计（基于改进的MobileNetV3-Small主干网络），在显著减少参数量的同时保持高准确率，优于以往SOTA方法，适用于工业部署。