[论文解读] Where's My Drink? Enabling Peripheral Real World Interactions While Using HMDs

Pulkit Budhiraja, Rajinder Singh Sodhi+4 more|arXiv (Cornell University)|Feb 16, 2015

Virtual Reality Applications and Impacts参考文献 9被引用 23

一句话总结

本文提出一种使用体感相机的混合现实渲染技术，通过头戴式显示器（HMD）选择性地将现实世界元素（如手部、物体和环境边缘）整合到虚拟现实（VR）中，从而在不破坏沉浸感的前提下增强周边交互体验。结果显示，显示用户手部、目标物体及物理环境显著边缘的‘物体与手部加上下文’（OHC）渲染方式最为有效，显著提升了用户满意度、沉浸感和交互便捷性，同时保持了高水平的沉浸感。

ABSTRACT

Head Mounted Displays (HMDs) allow users to experience virtual reality with a great level of immersion. However, even simple physical tasks like drinking a beverage can be difficult and awkward while in a virtual reality experience. We explore mixed reality renderings that selectively incorporate the physical world into the virtual world for interactions with physical objects. We conducted a user study comparing four rendering techniques that balances immersion in a virtual world with ease of interaction with the physical world. Finally, we discuss the pros and cons of each approach, suggesting guidelines for future rendering techniques that bring physical objects into virtual reality.

研究动机与目标

• 为解决佩戴沉浸式HMD时无法感知真实世界、难以完成简单物理任务（如饮水）的挑战。
• 探索一种混合现实渲染的设计空间，通过选择性地将现实世界元素整合到虚拟环境中，以减少情境切换和沉浸感中断。
• 评估不同视觉保真度和布局策略（如窗口化视图与画中画）对用户在多种VR类型（如电影、第一人称射击、竞速游戏）中体验的影响。
• 识别在保持现实世界感知与持续沉浸感之间达到最佳平衡的渲染技术。

提出的方法

• 部署双网络摄像头系统，实时捕获用户手部及周边物体的物理环境立体视频。
• 实现四种不同的渲染技术：(1) 物体与手部（OH），(2) 物体、手部与边缘（OHC），(3) 现实世界窗口化（RWW），以及(4) 物理画中画（PPIP）。
• 通过一对一空间缩放将捕获的现实世界数据整合到VR场景中，以保持自然感知与本体感觉。
• 在三个VR体验（电影、第一人称射击、竞速游戏）中，对18名参与者开展用户研究，比较四种渲染技术的差异。
• 收集用户在整体满意度、沉浸感、存在感、分心程度和操作便捷性等方面的定量评分（7分制），并收集定性反馈。
• 通过跨条件和VR类型进行统计比较，分析结果以识别性能趋势与用户偏好。

实验结果

研究问题

• RQ1 哪种渲染技术能在保持VR沉浸感的同时，最有效地支持周边现实世界交互（如取用饮料）？
• RQ2 不同视觉保真度与空间布局（如窗口化视图与画中画）如何影响用户对存在感与分心程度的感知？
• RQ3 不同渲染技术在不同VR体验类型（如低参与度电影与高参与度FPS）中的有效性有何差异？
• RQ4 上下文视觉信息（如周围表面的边缘）在减少用户迷失感与提升交互准确性方面起到何种作用？
• RQ5 用户在使用HMD时，如何权衡现实世界感知与沉浸感之间的取舍？

主要发现

• 在所有VR体验中，‘物体与手部加上下文’（OHC）渲染在整体满意度、沉浸感、存在感及操作便捷性方面均获得最高评分。
• OHC渲染通过显示手部、目标物体及环境的显著边缘，使用户能比其他方法更快速、更自信地定位并操作现实物体（如水杯）。
• ‘物体与手部’（OH）渲染虽为最简形式，但整体排名第二，然而用户反馈差异较大，部分用户报告出现迷失感且难以定位物体。
• ‘现实世界窗口化’（RWW）与‘物理画中画’（PPIP）渲染被感知为更易破坏沉浸感，用户描述其产生‘悬浮感’，并削弱与虚拟世界的连接。
• 取下HMD是用户最不青睐的方法，用户明确表示此举破坏了沉浸感，并严重干扰了VR体验。
• 用户更偏好保持一对一空间缩放与自我中心视角的渲染方式，因为这些方式有助于维持自然感知，降低物理交互过程中的认知负荷。