[论文解读] Robotic Haptic Proxies for Collaborative Virtual Reality

Zhenyi He, Fengyuan Zhu+2 more|arXiv (Cornell University)|Jan 31, 2017

Interactive and Immersive Displays参考文献 17被引用 7

一句话总结

本文提出了一套系统，利用移动机器人触觉代理实现远程和共享的虚拟现实协作，提供具身化、物理媒介化的触觉反馈。通过将虚拟物体映射到轻量化、可移动的机器人作为无形的物理代理，该系统支持一对一、多对一和一对多的映射，从而在本地和远程环境中实现低延迟、高用户接受度的沉浸式、低成本协作VR体验。

ABSTRACT

We propose a new approach for interaction in Virtual Reality (VR) using mobile robots as proxies for haptic feedback. This approach allows VR users to have the experience of sharing and manipulating tangible physical objects with remote collaborators. Because participants do not directly observe the robotic proxies, the mapping between them and the virtual objects is not required to be direct. In this paper, we describe our implementation, various scenarios for interaction, and a preliminary user study.

研究动机与目标

• 实现远程用户可通过机器人代理共享并操控物理物体的协作式虚拟现实体验。
• 通过使用移动、轻量级机器人作为动态、可重构的虚拟物体代理，克服传统触觉设备的局限性。
• 探索虚拟物体与物理机器人之间灵活的映射关系，如一对一、一对多和多对一，以增强可扩展性和交互灵活性。
• 评估用户在共享空间和远程空间VR协作场景下对真实感、控制自然度及系统可行性的感知。
• 证明机器人代理能够提供引人入胜的低延迟触觉反馈，从而增强协作VR中的沉浸感和可用性。

提出的方法

• 系统使用Holojam SDK和OptiTrack动作捕捉技术，实时确定用户和物理物体的绝对位置与朝向。
• 移动机器人代理通过外部定位方式控制，实现实时虚拟物体与物理机器人之间的精确同步。
• 实现了三种映射策略：一对一、多对一和一对多，支持通过物理机器人灵活表示虚拟物体。
• 采用手势识别与预测技术，实现类似‘心灵感应’的控制，使用户无需直接触碰即可指挥机器人代理移动虚拟物体。
• 开发了面向共享空间（同一房间）和远程空间（分布式位置）协作的原型，支持多用户VR体验。
• 系统支持远程用户之间的同步触觉反馈，实现在同一虚拟物体上的共享物理触感。

实验结果

研究问题

• RQ1 机器人触觉代理如何在远程物理位置之间实现沉浸式、协作式的VR体验？
• RQ2 在可用性和用户感知方面，虚拟物体与物理机器人代理之间最有效的映射方式是什么？
• RQ3 与直接物理交互相比，基于手势的控制在速度、准确性和用户偏好方面表现如何？
• RQ4 该系统在VR中在多大程度上提供了强烈的物理存在感和物体操控感？
• RQ5 感知延迟在远程协作VR中使用机器人代理时，如何影响用户体验和感知真实感？

主要发现

• 在基于手势的条件下，89.6%的物体操控是通过手势完成的，而非直接抓取，尤其在远距离目标上表现更明显。
• 用户更倾向于对远距离目标使用手势（中距离目标为81.3%，近距离目标为68.8%），因为其具有更好的稳定性与优化潜力。
• 基于手势的物体移动平均耗时为1.97秒，略长于直接抓取的1.5秒，但手势控制在远距离下表现更一致。
• 87.5%的用户认为物体在空间中移动的感觉具有说服力（评分≥4/5），81%的用户认为基于手势的控制机制足够自然（评分≥3/5）。
• 仅12.5%的用户在实验中感到孤立，且所有参与者均表示对方的动作自然流畅，表明远程协作中具有强烈的感知真实感。
• 平均感知延迟评分为2.31/5，超过75%的用户认为该延迟可接受，表明系统保持了足够低的延迟以实现可接受的交互体验。