[论文解读] Unique Identification of 50,000+ Virtual Reality Users from Head & Hand Motion Data

Vivek Nair, Wenbo Guo+5 more|arXiv (Cornell University)|Feb 17, 2023

Face recognition and analysis被引用 4

一句话总结

本研究证明，仅通过100秒的头和手部运动数据，即可以94.33%的准确率唯一识别超过55,000名真实用户，而仅需10秒数据即可达到73.20%的准确率，表明虚拟现实（VR）中的运动生物力学可作为一种与面部识别或指纹识别相当的稳健生物特征标识符。

ABSTRACT

With the recent explosive growth of interest and investment in virtual reality (VR) and the so-called "metaverse," public attention has rightly shifted toward the unique security and privacy threats that these platforms may pose. While it has long been known that people reveal information about themselves via their motion, the extent to which this makes an individual globally identifiable within virtual reality has not yet been widely understood. In this study, we show that a large number of real VR users (N=55,541) can be uniquely and reliably identified across multiple sessions using just their head and hand motion relative to virtual objects. After training a classification model on 5 minutes of data per person, a user can be uniquely identified amongst the entire pool of 50,000+ with 94.33% accuracy from 100 seconds of motion, and with 73.20% accuracy from just 10 seconds of motion. This work is the first to truly demonstrate the extent to which biomechanics may serve as a unique identifier in VR, on par with widely used biometrics such as facial or fingerprint recognition.

研究动机与目标

• 探究VR中的头和手部运动是否可在大规模场景下作为独特的生物特征标识符。
• 评估仅使用运动遥测数据在多个会话中识别用户的可能性。
• 评估机器学习模型在大规模真实VR用户群体中识别用户的表现。
• 探讨在VR应用中收集和存储运动遥测数据的隐私影响。
• 开发一种可扩展的、可解释的识别系统，用于基于分层分类的大规模VR用户池。

提出的方法

• 从40多个国家、20多种VR设备上，收集了55,541名真实用户在《节奏地牢》（Beat Saber）游戏中产生的250万条运动记录数据。
• 利用游戏特定的时间和空间上下文，实施上下文感知的特征工程，以增强运动模式的表征能力。
• 采用分层机器学习分类框架，将识别能力扩展至超过55,000个用户类别。
• 使用LightGBM（一种基于树的集成模型）以实现高性能与可解释性兼备的用户识别。
• 通过将运动数据相对于虚拟物体的相对位置和方向进行归一化，减少设备和用户间的差异性。
• 以每位用户5分钟的数据进行模型训练，并在10秒和100秒的运动序列上评估识别准确率。

实验结果

研究问题

• RQ1 在大规模真实场景下，VR会话中的头和手部运动数据是否能够唯一识别用户？
• RQ2 识别准确率如何随观察到的运动数据时长而变化（例如10秒 vs. 100秒）？
• RQ3 在大规模用户群体中，行为性运动模式在多大程度上优于静态用户属性（如身高）用于识别？
• RQ4 分层分类模型能否在超过55,000个类别的场景下实现高准确率的用户识别？
• RQ5 在该任务中，不同机器学习模型（如基于树的模型与深度学习模型）在性能和可解释性方面如何比较？

主要发现

• 本研究在55,541名用户中，基于100秒的头和手部运动数据，实现了94.33%的用户识别准确率。
• 即使仅使用10秒的运动数据，模型仍实现了73.20%的识别准确率，证明了短序列下也具备强大的可识别性。
• 尽管深度学习模型在类似领域中更为流行，但基于树的模型（如LightGBM）在此任务中表现更优。
• 分层分类方法实现了对超过55,000个用户类别的可扩展识别，显著超越了以往的小规模研究。
• 在大规模用户群体中，基于运动的识别方法优于静态属性（如自报身高），凸显了动态行为模式的重要性。
• 结果表明，VR中的运动生物力学可作为与面部识别或指纹识别相当的生物特征标识符，引发重大的隐私担忧。