[论文解读] Towards Massive Interaction with Generalist Robotics: A Systematic Review of XR-enabled Remote Human-Robot Interaction Systems

Xian Wang, Luyao Shen+1 more|arXiv (Cornell University)|Mar 18, 2024

Robotics and Automated Systems被引用 5

一句话总结

对 XR 启用的远程人机交互（HRI）系统的系统性 PRISMA 综述，总结 XR 技术、交互设计、机器人类型、任务、评估方法及未来方向。

ABSTRACT

The rising interest of generalist robots seek to create robots with versatility to handle multiple tasks in a variety of environments, and human will interact with such robots through immersive interfaces. In the context of human-robot interaction (HRI), this survey provides an exhaustive review of the applications of extended reality (XR) technologies in the field of remote HRI. We developed a systematic search strategy based on the PRISMA methodology. From the initial 2,561 articles selected, 100 research papers that met our inclusion criteria were included. We categorized and summarized the domain in detail, delving into XR technologies, including augmented reality (AR), virtual reality (VR), and mixed reality (MR), and their applications in facilitating intuitive and effective remote control and interaction with robotic systems. The survey highlights existing articles on the application of XR technologies, user experience enhancement, and various interaction designs for XR in remote HRI, providing insights into current trends and future directions. We also identified potential gaps and opportunities for future research to improve remote HRI systems through XR technology to guide and inform future XR and robotics research.

研究动机与目标

• 评估 XR 技术（AR/VR/MR）如何用于实现对通用型机器人/通用机器人的远程控制。
• 综合 XR 基础的远程 HRI 中的交互模态、界面设计和视角。
• 对 XR 启用的 HRI 文献中研究的机器人类型和远程任务进行分类。
• 评估远程 HRI 系统的评估方式及尚存的空白/差距。
• 提出推进 XR 基于远程 HRI 研究的研究议程。

提出的方法

• 遵循 PRISMA 方法学以识别 XR 基于的远程 HRI 研究。
• 在 ACM DL、IEEE Xplore、ScienceDirect 以及 Google Scholar 和 Connected Papers 中检索 2,588 篇文章。
• 筛选并应用纳入标准以选择 100 篇文章用于数据提取。
• 开发并应用数据提取量表，覆盖 XR 技术、交互模态、虚拟界面、用户视角、机器人类型、任务、评估、延迟、多人支持和增强功能。
• 执行两阶段数据提取（2022 年 5 月和 2023 年 12 月）以纳入最新研究。

实验结果

研究问题

• RQ1 在远程 HRI 中使用了哪些 XR 技术（VR/AR/MR），以及应用在哪些情境？
• RQ2 哪些交互模态和虚拟界面对远程机器人控制最有效？
• RQ3 XR 启用的 HRI 研究中调查了哪些机器人类型和远程任务，它们的分布是怎样的？
• RQ4 XR 基于的远程 HRI 系统如何评估，报告了哪些时延或性能指标？
• RQ5 XR 基于远程 HRI 研究的新空白与未来方向有哪些？

主要发现

• VR 头戴显示器主导 XR 使用（67%），其次是 AR 头显（19%），MR（5%）、CAVE（2%）、移动 AR（1%）。
• 多数研究使用内置控制器或手势进行交互；摇杆和触觉设备在子集中使用，27% 使用控制器，20% 使用手势方法。
• 机器人臂是研究最多的机器人类型（41%），导航、抓取/拾取/放置以及工业任务是最常见的活动（分别为 26%、18%、18%）。
• 38% 的论文未进行任何评估；在有评估的论文中，69% 使用定量方法（时间/准确度、NASA-TLX 等），36% 采用单一方法或混合方法。
• XR 启用的远程 HRI 研究在机器人/制造领域集中，出版高峰在 2023 年。
• 文献提出了基于 XR 的远程 HRI 界面的分类法，包括用户视角（机器人耦合、机器人解耦、鸟瞰、动态）和界面类型（直接、数字孪生、虚拟控制室，以及混合变体）。