[论文解读] Preprint Touch-less Interactive Augmented Reality Game on Vision Based Wearable Device

Zhihan Lv, Alaa Halawani+3 more|arXiv (Cornell University)|Apr 23, 2015

Gaze Tracking and Assistive Technology参考文献 79被引用 7

一句话总结

本文提出了一种基于视觉的无接触式交互增强现实游戏系统，利用基于视觉的可穿戴设备，使用户能够通过摄像头捕捉的动态手势和脚部动作来控制虚拟对象。通过在谷歌玻璃和混合可穿戴框架上的对比评估，该系统在可用性和社交可接受性方面表现出色，验证了其在沉浸式、免提增强现实游戏中的潜力。

ABSTRACT

This is the preprint version of our paper on Personal and Ubiquitous Computing. There is an increasing interest in creating pervasive games based on emerging interaction technologies. In order to develop touch-less, interactive and augmented reality games on vision-based wearable device, a touch-less motion interaction technology is designed and evaluated in this work. Users interact with the augmented reality games with dynamic hands/feet gestures in front of the camera, which triggers the interaction event to interact with the virtual object in the scene. Three primitive augmented reality games with eleven dynamic gestures are developed based on the proposed touch-less interaction technology as proof. At last, a comparing evaluation is proposed to demonstrate the social acceptability and usability of the touch-less approach, running on a hybrid wearable framework or with Google Glass, as well as workload assessment, user's emotions and satisfaction.

研究动机与目标

• 开发一种用于可穿戴设备上增强现实游戏的无接触式手势交互系统。
• 评估在现实世界AR游戏场景中无接触交互的可用性和社交可接受性。
• 在基于视觉的可穿戴平台上实现并测试三种AR游戏，使用十一种动态手势。
• 通过谷歌玻璃和混合可穿戴框架的对比研究，评估用户的工作负荷、情绪和满意度。
• 证明基于视觉的手势识别在无需物理接触的交互式AR体验中的可行性。

提出的方法

• 基于视觉的手势识别系统处理来自可穿戴摄像头的实时视频输入，以检测动态手势和脚部动作。
• 该系统将特定的手势模式映射到交互事件，从而在虚拟环境中触发响应。
• 开发了三个AR游戏原型，以测试包含十一种不同动态手势的交互流程。
• 实现了一种混合可穿戴框架，以在移动硬件上支持实时处理和低延迟交互。
• 用户评估包括使用标准化指标的工作负荷评估、情绪反应追踪和满意度指标。
• 在混合框架与谷歌玻璃之间进行了对比分析，以评估性能和用户体验。

实验结果

研究问题

• RQ1 无接触手势交互在可穿戴设备上的增强现实游戏控制中效果如何？
• RQ2 在真实世界环境中，基于手势的AR交互的用户满意度和社交可接受性如何？
• RQ3 不同可穿戴平台之间，用户的工作负荷和情绪反应有何差异？
• RQ4 动态手势和脚部动作在多大程度上能够被可靠检测并映射到虚拟交互？
• RQ5 与现成设备（如谷歌玻璃）相比，自定义混合可穿戴框架在性能和可用性方面存在哪些权衡？

主要发现

• 无接触手势交互系统成功实现了在AR环境中通过动态手势和脚部动作实时控制虚拟对象。
• 用户报告称在通过手势控制与AR游戏交互时满意度高，且感知工作负荷较低。
• 对比评估显示，混合可穿戴框架在响应速度和可用性方面优于谷歌玻璃。
• 无接触交互的社交可接受性获得积极评价，用户认为其直观且具有吸引力。
• 情绪反应分析表明，用户在游戏过程中体验到积极情绪，如愉悦感和沉浸感。
• 该系统在实时运行中对十一种不同动态手势表现出鲁棒的检测性能，延迟极低。