[论文解读] Virtual, Augmented, and Mixed Reality for Human-Robot Interaction: A Survey and Virtual Design Element Taxonomy

Michael Walker, Thao Phung+3 more|arXiv (Cornell University)|Feb 23, 2022

Virtual Reality Applications and Impacts被引用 9

一句话总结

本文提出了一套全面的虚拟现实、增强现实与混合现实（VAM）人机交互（HRI）设计要素分类体系，将这些要素归类为四大核心类型：任务、环境、物体以及虚拟机器人改变。该框架能够精确描述和比较VAM-HRI系统，识别出如‘特效改变’等尚未充分探索的领域，并为未来的研究与机器人界面设计提供基础性工具。

ABSTRACT

Virtual, Augmented, and Mixed Reality for Human-Robot Interaction (VAM-HRI) has been gaining considerable attention in research in recent years. However, the HRI community lacks a set of shared terminology and framework for characterizing aspects of mixed reality interfaces, presenting serious problems for future research. Therefore, it is important to have a common set of terms and concepts that can be used to precisely describe and organize the diverse array of work being done within the field. In this paper, we present a novel taxonomic framework for different types of VAM-HRI interfaces, composed of four main categories of virtual design elements (VDEs). We present and justify our taxonomy and explain how its elements have been developed over the last 30 years as well as the current directions VAM-HRI is headed in the coming decade.

研究动机与目标

• 为解决VAM-HRI研究中缺乏共享术语和概念框架的问题，此类问题阻碍了研究进展与可复现性。
• 开发一种系统化的四类设计要素分类体系，涵盖虚拟设计要素（VDEs），以捕捉VAM-HRI系统中的关键界面组件。
• 识别出尚未充分探索的VDE类别——尤其是‘特效改变’——并突出其作为未来研究的潜在方向。
• 为研究人员和设计者提供一个结构化参考，用于比较、描述并在此前研究基础上构建VAM-HRI系统。
• 通过促进更清晰的沟通与概念一致性，支持VAM-HRI发展为一个主流研究领域。

提出的方法

• 该分类体系基于三十年来人机交互（HRI）与VAM研究的综合分析，通过分析100多篇VAM-HRI论文，识别出反复出现的设计要素。
• 定义了四种类别的VDEs：任务理解（例如，航路点、轨迹）、环境理解（例如，三维场景理解）、物体理解（例如，三维物体模型）以及虚拟机器人改变（例如，可视化机器人状态或意图）。
• 每个VDE类别内包含层级化的子类别，例如在任务理解下包括‘抓取点’，在环境理解下包括‘激光雷达点云’。
• 通过分析真实世界的VAM-HRI应用对分类体系进行验证，包括水下机器人远程操作与工业机器人操作。
• 该方法强调实用性，使设计者能够根据特定交互目标（如提升空间感知或任务清晰度）选择合适的VDEs。
• 该框架具备可演化性，承认随着技术进步和新应用场景的出现，未来可能出现新的VDE类型。

实验结果

研究问题

• RQ1 VAM-HRI系统中核心且反复出现的设计要素是什么？如何对它们进行系统化分类？
• RQ2 过去三十年中，VAM-HRI界面设计如何演变？在应用与VDE使用方面，有哪些新兴趋势？
• RQ3 当前文献中哪些VDE类别仍处于未充分探索或缺失状态？这背后存在哪些机遇？
• RQ4 标准化的VDE分类体系在多大程度上能提升VAM-HRI研究中的沟通效率、比较能力与创新能力？
• RQ5 该分类体系如何作为实用设计指南，帮助开发者与研究人员为特定HRI挑战选择合适的VDEs？

主要发现

• 大多数VAM-HRI研究集中于提升机器人导航与操作等通用功能，而非特定领域的应用。
• 任务理解类VDEs（如航路点、轨迹与任务指令）是在VAM-HRI系统中使用最广泛且研究最深入的类别。
• 环境理解类VDEs（包括三维场景可视化与传感器数据叠加）近年来受到越来越多关注。
• 物体理解类与虚拟机器人改变类VDEs相对新颖，分别首次出现在2004年与2006年，目前仍处于探索不足状态。
• 在‘特效改变’类VDEs方面存在显著研究空白——即通过粒子系统或动态光照等视觉效果来传达机器人意图，此类技术尚未在科学文献中被使用。
• 该分类体系成功识别出此前被忽视的设计机遇，并为VAM-HRI未来的科研与系统开发提供了结构化基础。