[论文解读] Text Entry in Immersive Head-Mounted Display-based Virtual Reality using Standard Keyboards

Jens Grubert, Lukas Witzani+4 more|arXiv (Cornell University)|Feb 2, 2018

Interactive and Immersive Displays被引用 4

一句话总结

本研究通过实时追踪手部与键盘动作，评估了在沉浸式VR环境中桌面键盘与触摸屏键盘的文本输入表现。研究发现，用户在VR中保留了约60%的桌面键盘打字速度和约40–45%的触摸屏键盘打字速度，且无显著学习效应；重新定位键盘可显著提升性能，尤其对触摸屏键盘效果更明显，主要得益于增强的视觉反馈和降低的认知负荷。

ABSTRACT

We study the performance and user experience of two popular mainstream text entry devices, desktop keyboards and touchscreen keyboards, for use in Virtual Reality (VR) applications. We discuss the limitations arising from limited visual feedback, and examine the efficiency of different strategies of use. We analyze a total of 24 hours of typing data in VR from 24 participants and find that novice users are able to retain about 60% of their typing speed on a desktop keyboard and about 40-45\\% of their typing speed on a touchscreen keyboard. We also find no significant learning effects, indicating that users can transfer their typing skills fast into VR. Besides investigating baseline performances, we study the position in which keyboards and hands are rendered in space. We find that this does not adversely affect performance for desktop keyboard typing and results in a performance trade-off for touchscreen keyboard typing.

研究动机与目标

• 评估标准桌面键盘与触摸屏键盘在沉浸式VR环境中的性能与用户体验。
• 研究视觉反馈与键盘重新定位对VR中打字效率与用户舒适度的影响。
• 确定用户是否能无显著学习曲线地将现有打字技能迁移至VR环境。
• 探索手部与键盘位置对打字表现与感知沉浸感的影响。
• 评估使用标准物理键盘作为VR中长期生产力任务的可靠文本输入工具的可行性。

提出的方法

• 开展了一项受控的用户研究，24名参与者在VR环境中执行大量文本输入任务。
• 使用高精度光学追踪系统实时捕捉手部与手指动作。
• 在VR场景中渲染桌面键盘与触摸屏键盘的虚拟版本，且在有无向用户视野方向重新定位的情况下进行测试。
• 在虚拟空间中显示手指指尖，以增强视觉反馈并降低认知负荷。
• 测量打字速度（每分钟词数）、字符错误率，以及用户报告的舒适度与沉浸感。
• 通过VelociTap解码器实现自动纠错，以降低错误率并提升感知性能。

实验结果

研究问题

• RQ1 在沉浸式VR环境中，标准桌面键盘与触摸屏键盘的文本输入表现有何差异？
• RQ2 将虚拟键盘与手部姿态重新定位至用户视野中心对打字表现有何影响？
• RQ3 用户在VR中能多大程度上无显著学习效应地迁移其现有打字技能？
• RQ4 渲染手指运动的视觉反馈如何影响打字准确率与感知可用性？
• RQ5 在VR中使用不同类型的键盘及其不同布局时，性能、舒适度与沉浸感之间存在何种权衡？

主要发现

• 新手用户在VR中保留了约60%的桌面键盘打字速度，表明打字技能具有较强的可迁移性。
• 用户在VR中保留了40–45%的触摸屏键盘打字速度，且随时间推移无显著学习效应。
• 将键盘与手部姿态重新定位至用户视野中心显著提升了触摸屏键盘的性能，但对桌面键盘性能影响甚微。
• 实时渲染手指指尖显著增强了视觉反馈，并减轻了性能下降，尤其对触摸屏输入效果更明显。
• 通过自动纠错，字符错误率降低至2.6–4.0%，证明了解码算法在缓解输入错误方面的有效性。
• 当键盘与手部姿态被重新定位至面向用户时，用户报告了更高的舒适度与感知沉浸感，表明增强了身体归属感并降低了认知负荷。