[论文解读] The Helping Hand: An Assistive Manipulation Framework Using Augmented Reality and a Tongue-Drive Interfaces

Fu-Jen Chu, Ruinian Xu+3 more|arXiv (Cornell University)|Feb 1, 2018

Gaze Tracking and Assistive Technology参考文献 26被引用 4

一句话总结

本论文提出了一种人机协同的辅助操作框架，通过将增强现实（AR）眼镜与舌动系统（TDS）结合，实现对7自由度机器人臂的免提控制。通过AR显示机器人功能的动态菜单，结合TDS进行意图选择，该系统降低了用户的认知负荷，并在10种不同物体上实现了78%的成功率，平均抓取任务耗时18.3秒，抓取并放置任务耗时32.7秒，性能优于笛卡尔控制和现有最先进方法，在速度和可扩展性方面表现更优。

ABSTRACT

A human-in-the-loop system is proposed to enable collaborative manipulation tasks for person with physical disabilities. Studies show that the cognitive burden of subject reduces with increased autonomy of assistive system. Our framework obtains high-level intent from the user to specify manipulation tasks. The system processes sensor input to interpret the user's environment. Augmented reality glasses provide ego-centric visual feedback of the interpretation and summarize robot affordances on a menu. A tongue drive system serves as the input modality for triggering a robotic arm to execute the tasks. Assistance experiments compare the system to Cartesian control and to state-of-the-art approaches. Our system achieves competitive results with faster completion time by simplifying manipulation tasks.

研究动机与目标

• 降低高位瘫痪患者控制辅助机器人操作装置时的认知负担。
• 通过舌动系统（TDS）实现免提、直观的机器人臂控制，用于意图选择。
• 通过以用户为中心的增强现实（AR）反馈提升用户交互体验，显示可操作的机器人功能。
• 通过自动化低层级操作规划，同时在高层级保留用户意图，提升任务效率。
• 与笛卡尔控制及现有辅助系统相比，展示在速度和可扩展性方面的优越性能。

提出的方法

• 系统利用AR眼镜中的RGB-D摄像头实时捕获场景数据，用于物体检测和三维包围盒生成。
• 计算机视觉算法检测可操作物体并估计抓取位姿，随后将这些信息映射到AR界面中的虚拟菜单。
• 舌动系统（TDS）将舌部运动转化为离散指令，用于从AR菜单中选择操作。
• 7自由度机器人臂基于检测到的物体位置和抓取配置，使用预规划路径自主执行选定任务。
• 该框架整合了现代机器人规划与视觉技术，实现实时、上下文感知的操作，且用户输入极少。
• AR界面提供持续的、以用户为中心的视觉反馈，减少对外部显示器的依赖，提升用户专注度。

实验结果

研究问题

• RQ1 基于TDS的界面是否能降低高位瘫痪患者控制辅助机器人操作装置时的认知负荷？
• RQ2 基于AR的视觉反馈如何提升辅助操作中的任务表现和用户参与度？
• RQ3 在使用高层级意图选择与低层级控制时，任务完成时间与成功率之间的权衡关系如何？
• RQ4 与笛卡尔控制及现有最先进的辅助系统相比，所提系统在速度和可扩展性方面表现如何？
• RQ5 结合基于视觉的物体检测与自主路径规划，是否能显著减少所需用户指令的数量？

主要发现

• 在10种不同物体上，抓取任务的成功率为78%，抓取并放置任务的成功率为76%，抓取任务平均耗时18.3秒，抓取并放置任务平均耗时32.7秒。
• 任务完成速度比手动笛卡尔控制快5倍，后者虽有96%的成功率，但耗时显著更长。
• 用户指令数量平均减少至每项任务9.4条，表明与低层级控制相比，认知负荷显著降低。
• 与以往使用EEG或眼动追踪的研究相比，本系统在成功率上达到相当或更优水平，且任务时间显著缩短（例如，类似研究中3个物体的任务耗时92秒 vs. 本研究的32.7秒）。
• 尽管成功率略低，本系统在抓取任务中速度（18.11秒 vs. 70.1秒）和物体多样性方面均优于[9]。
• AR与TDS的集成实现了无缝的免提操作，提升了用户专注度，并减少了对外部监控的依赖。