[论文解读] Rethinking Vision Transformer and Masked Autoencoder in Multimodal Face Anti-Spoofing

Zitong Yu, Rizhao Cai+4 more|arXiv (Cornell University)|Feb 11, 2023

Biometric Identification and Security被引用 4

一句话总结

本文通过引入模态感知输入、模态非对称掩码自编码器（M²A²E）用于自监督预训练，以及自适应多模态适配器（AMA）用于高效微调，重新思考了视觉变换器（ViT）与掩码自编码器（MAE）在多模态人脸反 spoofing（FAS）中的应用。所提出的方法在单模态与多模态FAS基准上均实现了最先进性能，展现出在RGB、红外（IR）与深度模态上的优越泛化能力与鲁棒性。

ABSTRACT

Recently, vision transformer (ViT) based multimodal learning methods have been proposed to improve the robustness of face anti-spoofing (FAS) systems. However, there are still no works to explore the fundamental natures ( extit{e.g.}, modality-aware inputs, suitable multimodal pre-training, and efficient finetuning) in vanilla ViT for multimodal FAS. In this paper, we investigate three key factors (i.e., inputs, pre-training, and finetuning) in ViT for multimodal FAS with RGB, Infrared (IR), and Depth. First, in terms of the ViT inputs, we find that leveraging local feature descriptors benefits the ViT on IR modality but not RGB or Depth modalities. Second, in observation of the inefficiency on direct finetuning the whole or partial ViT, we design an adaptive multimodal adapter (AMA), which can efficiently aggregate local multimodal features while freezing majority of ViT parameters. Finally, in consideration of the task (FAS vs. generic object classification) and modality (multimodal vs. unimodal) gaps, ImageNet pre-trained models might be sub-optimal for the multimodal FAS task. To bridge these gaps, we propose the modality-asymmetric masked autoencoder (M$^{2}$A$^{2}$E) for multimodal FAS self-supervised pre-training without costly annotated labels. Compared with the previous modality-symmetric autoencoder, the proposed M$^{2}$A$^{2}$E is able to learn more intrinsic task-aware representation and compatible with modality-agnostic (e.g., unimodal, bimodal, and trimodal) downstream settings. Extensive experiments with both unimodal (RGB, Depth, IR) and multimodal (RGB+Depth, RGB+IR, Depth+IR, RGB+Depth+IR) settings conducted on multimodal FAS benchmarks demonstrate the superior performance of the proposed methods. We hope these findings and solutions can facilitate the future research for ViT-based multimodal FAS.

研究动机与目标

• 探究将视觉变换器（ViT）应用于多模态人脸反欺骗（FAS）时面临的基本挑战，包括模态感知输入、合适的预训练方法以及高效微调策略。
• 通过引入局部特征描述符，解决原始ViT在处理模态特异性表征（尤其是红外IR模态）时的局限性。
• 通过设计一种模态非对称掩码自编码器（M²A²E），克服ImageNet预训练在FAS任务中的次优性，实现面向任务的自监督预训练。
• 通过一种自适应多模态适配器（AMA）实现ViT在多模态FAS中的高效且有效的微调，该适配器冻结了大部分ViT参数，同时聚合跨模态特征。

提出的方法

• 引入模态特定的输入处理方式：对红外（IR）模态使用局部特征描述符（如HOG、PLGF），而对RGB与深度模态则使用原始输入，以增强局部特征与光照不变性表征。
• 提出一种模态非对称掩码自编码器（M²A²E），在不同模态间非对称地进行掩码与重建，实现无需标注数据的任务感知、泛化性表征学习。
• 设计一种自适应多模态适配器（AMA），在冻结大部分ViT参数的前提下，高效融合局部多模态特征，实现参数高效的微调。
• 采用多阶段训练策略：先在无标签数据上预训练M²A²E，再在下游FAS任务上通过AMA进行微调，同时利用自监督与监督信号。
• 在M²A²E中采用分层掩码策略，不同模态以不同比例被掩码，并通过模态特定的解码器进行重建，以保留与任务相关的线索。
• 在多个基准（WMCA、CeFA）上验证方法性能，涵盖已见与未见攻击协议，评估单模态与多模态设置（如RGB+IR+Depth）下的表现。

实验结果

研究问题

• RQ1 在多模态FAS中，将局部特征描述符（如HOG、PLGF）引入ViT输入是否能提升红外（IR）模态的性能？
• RQ2 在多模态FAS中，模态非对称掩码自编码器（M²A²E）是否能超越对称MAE与ImageNet预训练，在自监督预训练中表现更优？
• RQ3 自适应多模态适配器（AMA）在实现ViT高效微调的同时，是否能保持在单模态与多模态设置下的高性能？
• RQ4 模态感知输入、M²A²E预训练与AMA微调三者结合，是否能实现对未见攻击与部署条件的优越泛化能力？

主要发现

• 对红外模态输入使用局部特征描述符（如HOG、PLGF）可显著提升ViT性能，尤其在双模态与三模态设置下，归因于增强了局部与光照不变的特征表征能力。
• 所提出的模态非对称掩码自编码器（M²A²E）在所有单模态与多模态FAS设置中均优于对称多模态MAE与ImageNet预训练，展现出更优的下游泛化能力。
• 自适应多模态适配器（AMA）实现了高效的微调，仅需极少参数更新，同时在冻结大部分ViT层的前提下保持高性能，从而降低了在小规模FAS数据集上的过拟合风险。
• 在WMCA基准的“已见”协议下，完整流程（M²A²E预训练 + AMA微调 + 模态感知输入）在RGB+IR+Depth设置下实现了100% EER，优于先前方法。
• M²A²E重建结果的可视化表明，即使在输入被掩码的情况下，模型仍能保留关键的活体/欺骗线索（如面部深度、纹理），验证了其学习判别性、任务感知表征的能力。
• 消融实验表明，仅微调最后的Transformer块与分类头可实现性能与效率的最佳平衡，其表现优于全模型微调，原因在于过拟合程度更低。