[论文解读] Smartphone Multi-modal Biometric Authentication: Database and Evaluation

Raghavendra Ramachandra, Martin Stokkenes+7 more|arXiv (Cornell University)|Dec 5, 2019

User Authentication and Security Systems参考文献 30被引用 15

一句话总结

本论文提出了SWAN多模态生物识别数据集（SWAN-MBD），该数据集基于智能手机，从全球四个地点的150名受试者中收集了面部、语音和眼周区域生物识别信息，共涵盖六个会话。研究提出了针对单模态与多模态生物识别验证及呈现攻击检测（PAD）的新型评估协议，并提供了基线结果，显示LFCC-GMM（0% EER）和Color Textures-SVM（最佳PAD性能）表现优异，尤其在低质量伪造攻击下表现突出。

ABSTRACT

Biometric-based verification is widely employed on the smartphones for various applications, including financial transactions. In this work, we present a new multimodal biometric dataset (face, voice, and periocular) acquired using a smartphone. The new dataset is comprised of 150 subjects that are captured in six different sessions reflecting real-life scenarios of smartphone assisted authentication. One of the unique features of this dataset is that it is collected in four different geographic locations representing a diverse population and ethnicity. Additionally, we also present a multimodal Presentation Attack (PA) or spoofing dataset using a low-cost Presentation Attack Instrument (PAI) such as print and electronic display attacks. The novel acquisition protocols and the diversity of the data subjects collected from different geographic locations will allow developing a novel algorithm for either unimodal or multimodal biometrics. Further, we also report the performance evaluation of the baseline biometric verification and Presentation Attack Detection (PAD) on the newly collected dataset.

研究动机与目标

• 开发一个公开可用、多样化且真实的基于智能手机的多模态生物识别数据集，以支持生物识别认证与伪造检测研究。
• 解决目前缺乏公开共享、大规模、地理分布多样且包含多模态的生物识别数据集的问题，以适用于智能手机生物识别系统的基准测试。
• 为单模态与多模态生物识别验证及呈现攻击检测（PAD）提供标准化评估协议，适用于真实生活场景。
• 通过单一一致的数据集，支持环境变化、跨地理多样性及多语言语音验证的研究。
• 支持使用低成本呈现攻击工具（PAIs），如打印件和电子显示屏攻击，来开发与评估鲁棒的PAD技术。

提出的方法

• 数据采集在六个会话中进行，间隔为1至3周，模拟真实生活中的智能手机使用场景，包括室内/室外、辅助/自主采集以及受监督/非受监督设置。
• 数据集包含三种生物识别模态：面部（使用智能手机前置摄像头）、眼周区域（近距离眼部区域）和语音（多语言录音），在不同光照与姿态条件下采集。
• 创建了新型呈现攻击（PA）数据集，使用低成本PAIs（如打印照片和电子显示屏）模拟智能手机生物识别系统中常见的伪造攻击。
• 评估协议设计为两种变体：Protocol-1（仅低质量攻击）和Protocol-2（混合低质量和高质量攻击），以支持PAD鲁棒性的基准测试。
• 应用了基线算法：语音使用LFCC-GMM，面部与眼周区域使用Color Textures-SVM，多模态PAD采用性能最佳系统的评分级融合。
• 通过Idiap门户和BEAT电子基础设施平台共享数据集，确保隐私保护访问并实现结果的可复现性。

实验结果

研究问题

• RQ1 在真实世界智能手机使用场景中，生物识别性能如何随多个会话和环境条件而变化？
• RQ2 基线单模态与多模态生物识别验证系统在多样化、地理分布广泛的数据库上的有效性如何？
• RQ3 不同呈现攻击检测（PAD）算法在使用低成本PAIs的低质量和高质量伪造攻击下的表现如何？
• RQ4 模态特定PAD系统的评分级融合是否能提升对多模态攻击的检测性能？
• RQ5 地理与人口多样性（如种族、年龄、性别）在多大程度上影响生物识别与伪造检测性能？

主要发现

• LFCC-GMM基线在所有协议中对语音呈现攻击检测的等错误率（EER）达到0%，表明其具有极强的鲁棒性。
• Color Textures-SVM方法优于其他PAD基线，在Protocol-1和Protocol-2中均取得最低EER，尤其在检测低质量攻击时表现突出。
• 由于Protocol-2中引入了高质量攻击，PAD系统性能出现下降，多模态评分融合系统的D-EER达到29.34%。
• 低质量攻击（如PA.F.5, PA.V.7）的错误率低于1%，表明对常见伪造方法具有极高的检测准确率。
• 多模态PAD融合系统在高质量攻击下表现出显著性能下降，凸显了检测复杂伪造攻击的挑战。
• 数据集在四个地理地点的多样性，使得其能够对生物识别系统中的跨地理差异与人口特征影响进行稳健评估。