[论文解读] Versatile User Identification in Extended Reality using Pretrained Similarity-Learning

Christian Schell, Konstantin Kobs+3 more|arXiv (Cornell University)|Feb 15, 2023

Video Surveillance and Tracking Methods被引用 5

一句话总结

本文提出了一种基于嵌入的扩展现实（XR）用户识别系统，采用深度度量学习以克服先前基于距离和基于分类方法的局限性。通过在虚拟现实游戏的运动数据上进行训练，该方法可仅用极少的注册数据快速、准确地识别新用户，并在不同设备和非特定动作间实现良好泛化，相较于基线模型在可扩展性和可靠性方面表现更优，支持近乎即时的注册且无需重新训练。

ABSTRACT

Various machine learning approaches have proven to be useful for user verification and identification based on motion data in eXtended Reality (XR). However, their real-world application still faces significant challenges concerning versatility, i.e., in terms of extensibility and generalization capability. This article presents a solution that is both extensible to new users without expensive retraining, and that generalizes well across different sessions, devices, and user tasks. To this end, we developed a similarity-learning model and pretrained it on the "Who Is Alyx?" dataset. This dataset features a wide array of tasks and hence motions from users playing the VR game "Half-Life: Alyx". In contrast to previous works, we used a dedicated set of users for model validation and final evaluation. Furthermore, we extended this evaluation using an independent dataset that features completely different users, tasks, and three different XR devices. In comparison with a traditional classification-learning baseline, our model shows superior performance, especially in scenarios with limited enrollment data. The pretraining process allows immediate deployment in a diverse range of XR applications while maintaining high versatility. Looking ahead, our approach paves the way for easy integration of pretrained motion-based identification models in production XR systems.

研究动机与目标

• 为解决XR用户识别中可扩展性与适用性之间的权衡问题，其中基于距离的方法在非特定动作上表现不佳，而基于分类的方法需为新用户付出高昂的重新训练成本。
• 开发一种用户识别系统，可轻松扩展至新用户而无需重新训练，同时在多样化、非特定动作下保持有效性。
• 评估模型在不同VR设备和运动类型（包括训练中未见的动作）上的泛化能力。
• 通过降低对专家知识、专用硬件和大规模重新训练的依赖，实现XR应用中用户识别的实用化部署。
• 为在Unity和Unreal等3D引擎中实现生产就绪的、插件化的用户识别系统奠定基础。

提出的方法

• 该方法采用基于深度度量学习的预训练嵌入模型，将用户运动序列映射到共享嵌入空间，使同一用户产生的相似动作在空间中聚集得更紧密。
• 通过在嵌入空间中进行最近邻搜索确定用户身份，使用测试序列的k个最近邻的多数投票结果作为判断依据。
• 模型在公开的“Who Is Alyx?”数据集上进行训练，该数据集包含63名用户使用HTC Vive Pro玩《Half-Life: Alyx》时的运动追踪数据。
• 通过将新用户的运动序列简单地添加到参考数据库中即可完成注册，无需任何模型重新训练或微调。
• 与最先进的基于分类的基线模型进行对比评估，且对两者均进行了超参数调优。
• 在Miller等人提供的独立数据集上测试泛化能力，该数据集包含41名用户使用不同VR设备（HTC Cosmos、Oculus Quest）进行投球动作的实验。

Figure 1 : Deep Metric Learning allows to combine the advantages of previous approaches: our proposed embedding-based approach can easily be extended to new users without the need for re-training, yet remains applicable to non-specific user movements as well.

实验结果

研究问题

• RQ1 基于嵌入的方法是否能在仅使用几分钟注册数据的情况下，无需模型重新训练，实现高识别准确率？
• RQ2 在识别准确率、训练时间和新用户可扩展性方面，基于嵌入的方法与基于分类的基线相比表现如何？
• RQ3 该模型在新用户、不同运动类型（如非游戏动作）以及不同VR硬件平台上的泛化能力达到何种程度？
• RQ4 该模型是否能支持无需深度学习专业知识或专用硬件的实用化、生产就绪的XR应用部署？
• RQ5 基于嵌入的方法是否能支持新型应用场景，如持续性或隐式用户验证？

主要发现

• 基于嵌入的方法在仅使用每名用户几分钟注册数据的情况下即实现了高识别准确率，当数据有限时，显著优于基于分类的基线模型。
• 基于嵌入的方法注册新用户仅需数秒，而基于分类的模型重新训练则几乎耗时一整天。
• 该模型在另一组未包含于训练数据中的投球动作数据集上表现出有效泛化，证明其对非特定和多样化动作具有鲁棒性。
• 该模型成功实现了在不同VR设备（HTC Vive、HTC Cosmos、Oculus Quest）之间的泛化，尽管其未在新型设备的数据上进行过训练。
• 基于嵌入的方法保持了高可靠性和可扩展性，使其适用于无需重新训练或专家干预的XR应用实际部署。
• 该方法通过利用嵌入距离进行置信度估计，支持新型应用场景，如持续性或基于动作的密码验证。

(a) Classification-based model immediately produces a user prediction.