[论文解读] TypeFormer: Transformers for Mobile Keystroke Biometrics

Giuseppe Stragapede, Paula Delgado-Santos+4 more|arXiv (Cornell University)|Dec 26, 2022

User Authentication and Security Systems被引用 6

一句话总结

TypeFormer 提出了一种基于 Transformer 的新型架构，用于移动设备上的自由文本敲击生物识别，通过结合时间模块与通道模块，利用 LSTM、高斯范围编码（Gaussian Range Encoding）、自注意力机制和块递归层，学习具有区分性的 64 维特征嵌入。该方法仅使用 Aalto 移动敲击生物识别数据库中每个用户 5 次注册会话（每次 50 个敲击），即实现了 3.25% 的最先进（SOTA）等错误率（Equal Error Rate, EER）。

ABSTRACT

The broad usage of mobile devices nowadays, the sensitiveness of the information contained in them, and the shortcomings of current mobile user authentication methods are calling for novel, secure, and unobtrusive solutions to verify the users' identity. In this article, we propose TypeFormer, a novel Transformer architecture to model free-text keystroke dynamics performed on mobile devices for the purpose of user authentication. The proposed model consists in Temporal and Channel Modules enclosing two Long Short-Term Memory (LSTM) recurrent layers, Gaussian Range Encoding (GRE), a multi-head Self-Attention mechanism, and a Block-Recurrent structure. Experimenting on one of the largest public databases to date, the Aalto mobile keystroke database, TypeFormer outperforms current state-of-the-art systems achieving Equal Error Rate (EER) values of 3.25% using only 5 enrolment sessions of 50 keystrokes each. In such way, we contribute to reducing the traditional performance gap of the challenging mobile free-text scenario with respect to its desktop and fixed-text counterparts. Additionally, we analyse the behaviour of the model with different experimental configurations such as the length of the keystroke sequences and the amount of enrolment sessions, showing margin for improvement with more enrolment data. Finally, a cross-database evaluation is carried out, demonstrating the robustness of the features extracted by TypeFormer in comparison with existing approaches.

研究动机与目标

• 为解决移动自由文本敲击生物识别系统与桌面固定文本系统之间的性能差距。
• 开发一种深度学习模型，实现在移动设备上基于敲击动态的持续、被动用户身份认证。
• 通过先进的自注意力机制与嵌入学习，提升特征在多样化数据库上的鲁棒性与泛化能力。
• 在保持真实移动场景下高准确率的前提下，减少对大规模注册数据的依赖。
• 通过分析特征嵌入泄露性别、年龄等人口统计学属性的可能性，评估其隐私影响。

提出的方法

• TypeFormer 采用双分支架构，分别通过时间模块与通道模块独立建模敲击序列。
• 利用长短期记忆（Long Short-Term Memory, LSTM）层捕捉敲击时间数据中的序列依赖关系。
• 应用高斯范围编码（Gaussian Range Encoding, GRE）将原始敲击特征嵌入到连续且可微的表示中。
• 采用多头自注意力机制，捕捉时间与通道维度上的长距离依赖关系及特征间关联。
• 通过块递归 Transformer 层将长序列划分为非重叠块，实现高效建模。
• 模型采用三元组损失（triplet loss）与欧氏距离进行训练，以最小化同类（同一用户）嵌入距离，最大化异类（不同用户）嵌入距离。

实验结果

研究问题

• RQ1 基于 Transformer 的架构是否能在移动自由文本敲击生物识别任务中超越现有的 RNN 与注意力机制模型？
• RQ2 TypeFormer 的性能如何随注册会话数量与敲击序列长度的变化而变化？
• RQ3 在外部数据库上评估时，所学习的特征嵌入在多大程度上具备鲁棒性？
• RQ4 该模型在用户与设备多样性背景下，尤其是在注册数据有限的情况下，是否具备良好的泛化能力？
• RQ5 所学习的特征嵌入在泄露性别或年龄等人口统计学属性方面存在多大隐私风险？

主要发现

• TypeFormer 仅使用每个用户 5 次注册会话（每次 50 个敲击）即实现了 3.25% 的等错误率（Equal Error Rate, EER），显著优于先前的 SOTA 方法。
• 与之前 SOTA 的基于 LSTM 的模型相比，该模型在 EER 上实现了约 65% 的相对提升与 5.95% 的绝对提升。
• 跨数据库评估表明，TypeFormer 的特征泛化能力优于现有方法，所有测试案例的平均 EER 提升达 8.60%。
• t-SNE 可视化结果证实了类内差异小、类间可分性高，表明嵌入学习效果良好。
• 即使在短序列与极少注册数据条件下，模型仍保持强劲性能，展现出在真实场景中部署的潜力。
• 特征嵌入存在潜在的隐私泄露风险，提示应将敲击数据视为敏感生物特征信息进行处理。