[论文解读] Visual Passwords Using Automatic Lip Reading

Ahmad B. Hassanat|arXiv (Cornell University)|Sep 2, 2014

Biometric Identification and Security参考文献 7被引用 14

一句话总结

本文提出一种视觉密码系统，通过视频中的自动读唇技术实现用户认证，利用视觉语音识别提取并比对设置和验证阶段的特征向量。在包含30名说话者的两个数据库上进行评估，系统平均错误率在7.63%至20.51%之间，表明该方法与传统凭证结合时具备作为实用生物特征认证方法的可行性。

ABSTRACT

This paper presents a visual passwords system to increase security. The system depends mainly on recognizing the speaker using the visual speech signal alone. The proposed scheme works in two stages: setting the visual password stage and the verification stage. At the setting stage the visual passwords system request the user to utter a selected password, a video recording of the user face is captured, and processed by a special words-based VSR system which extracts a sequence of feature vectors. In the verification stage, the same procedure is executed, the features will be sent to be compared with the stored visual password. The proposed scheme has been evaluated using a video database of 20 different speakers (10 females and 10 males), and 15 more males in another video database with different experiment sets. The evaluation has proved the system feasibility, with average error rate in the range of 7.63% to 20.51% at the worst tested scenario, and therefore, has potential to be a practical approach with the support of other conventional authentication methods such as the use of usernames and passwords.

研究动机与目标

• 通过引入基于视觉语音识别的视觉密码机制，提升系统安全性。
• 仅通过说话时面部动作的视觉线索实现用户认证，消除对音频的依赖。
• 评估视觉密码在多样化说话者真实场景下的可行性。
• 将视觉密码系统与传统认证方法集成，以提升安全性。

提出的方法

• 系统在设置阶段捕获用户说话时的视频。
• 基于单词的视频语音识别（VSR）系统从面部视频中提取特征向量序列。
• 在验证阶段，重复相同过程，并将提取的特征与存储的视觉密码模板进行比对。
• 使用相似性度量进行特征比对，以判断认证成功或失败。
• 系统采用两阶段架构：密码注册和实时验证。
• VSR系统独立处理视觉语音信号，专注于唇部和面部运动模式。

实验结果

研究问题

• RQ1 视觉语音识别能否有效用于构建安全可靠的视觉密码系统？
• RQ2 系统在不同说话者（包括性别和说话风格差异）下的表现如何？
• RQ3 在真实条件下，视觉密码系统的可实现错误率是多少？
• RQ4 该系统能否作为传统用户名和密码认证的可行补充？

主要发现

• 系统在不同测试场景下的平均错误率介于7.63%至20.51%之间，表明具备较强的可行性。
• 系统在包含20名说话者（10名男性，10名女性）的数据库上表现出稳健性能，验证了跨性别的识别能力。
• 对额外15名男性说话者的测试集进一步证实了系统在多样化男性说话者中的性能一致性。
• 结果支持将视觉密码作为多因素认证系统中实用的生物特征因素进行集成。