[论文解读] Securing Face Liveness Detection Using Unforgeable Lip Motion Patterns

Man Zhou, Qian Wang+6 more|arXiv (Cornell University)|Jun 15, 2021

Face recognition and analysis参考文献 41被引用 7

一句话总结

该论文提出了一种名为 FaceLip 的安全活体检测方案，用于人脸认证，其利用用户对随机挑战做出响应时产生的动态声学信号所生成的不可伪造的唇部运动模式。通过分析这些实时、用户特定的声学信号，FaceLip 能够有效抵御复杂的3D投影攻击，在真实环境下实现92.95%的准确率，展现出超越现有方法的强健性与安全性。

ABSTRACT

Face authentication usually utilizes deep learning models to verify users with high recognition accuracy. However, face authentication systems are vulnerable to various attacks that cheat the models by manipulating the digital counterparts of human faces. So far, lots of liveness detection schemes have been developed to prevent such attacks. Unfortunately, the attacker can still bypass these schemes by constructing wide-ranging sophisticated attacks. We study the security of existing face authentication services (e.g., Microsoft, Amazon, and Face++) and typical liveness detection approaches. Particularly, we develop a new type of attack, i.e., the low-cost 3D projection attack that projects manipulated face videos on a 3D face model, which can easily evade these face authentication services and liveness detection approaches. To this end, we propose FaceLip, a novel liveness detection scheme for face authentication, which utilizes unforgeable lip motion patterns built upon well-designed acoustic signals to enable a strong security guarantee. The unique lip motion patterns for each user are unforgeable because FaceLip verifies the patterns by capturing and analyzing the acoustic signals that are dynamically generated according to random challenges, which ensures that our signals for liveness detection cannot be manipulated. Specially, we develop robust algorithms for FaceLip to eliminate the impact of noisy signals in the environment and thus can accurately infer the lip motions at larger distances. We prototype FaceLip on off-the-shelf smartphones and conduct extensive experiments under different settings. Our evaluation with 44 participants validates the effectiveness and robustness of FaceLip.

研究动机与目标

• 识别现有人脸认证系统及活体检测方法在面对高级3D动态攻击时的关键漏洞。
• 证明当前的活体检测方案对低成本、通用型3D投影攻击（通过操纵数字人脸表示）存在安全隐患。
• 设计并实现一种新型活体检测机制，通过实时声学信号分析确保不可伪造的用户特定唇部运动模式。
• 在多种环境和设备条件下验证所提系统的鲁棒性与实用性。

提出的方法

• FaceLip 生成随机挑战，提示用户说出密码，从而产生编码在实时声学信号中的独特、动态唇部运动模式。
• 系统使用智能手机麦克风捕获这些声学信号，并分析以验证真实的唇部运动，防止重放或合成攻击。
• 采用混合LSTM-CNN神经网络，基于从音频中提取的信号特征，区分真实唇部运动与伪造信号。
• 一致性验证确保检测到的唇部运动与给定挑战的预期模式一致，即使在噪声环境或中等用户移动条件下也能保持稳定。
• 系统采用客户端-服务器架构，音频在本地捕获，运动与一致性验证在服务器端执行，以提升效率与安全性。
• 当用户更换密码时，无需重新训练核心模型，因为模型训练目标是识别与具体密码内容无关的物理唇部运动模式。

实验结果

研究问题

• RQ1 现有的商业人脸认证服务及活体检测方法是否可被低成本3D投影攻击绕过，即通过将操纵后的视频投射到3D人脸模型上？
• RQ2 环境噪声和用户移动在多大程度上影响基于唇部运动模式的声学活体检测的可靠性？
• RQ3 从动态生成的声学信号中提取的不可伪造唇部运动模式，是否能有效抵御如3D动态攻击等复杂演示攻击？
• RQ4 FaceLip 的性能如何随不同密码长度、设备类型以及与麦克风距离的变化而变化？
• RQ5 在不进行硬件改造或为新密码重新训练核心模型的前提下，是否可在市售智能手机上成功部署 FaceLip？

主要发现

• FaceLip 成功抵御了所有测试的3D投影攻击，包括那些可绕过主流商业人脸认证服务和活体检测方法的攻击。
• 系统在使用6位字符密码时达到92.95%的准确率，证明其在真实环境下的高可靠性。
• 一致性验证在不同距离和环境条件下均保持高性能，即使在较远距离下准确率仍超过88%。
• 用户移动（包括中等程度的晃动）仅导致准确率轻微下降，证实了信号分析流程的鲁棒性。
• 该系统兼容多种市售智能手机，且在更换密码时无需重新训练LSTM-CNN模型。
• 客户端-服务器架构实现了高效处理，并通过在服务器端隔离运动与一致性验证，显著提升了安全性。