[论文解读] TeLeMan: Teleoperation for Legged Robot Loco-Manipulation using Wearable IMU-based Motion Capture

Chengxu Zhou, Christopher Peers+3 more|arXiv (Cornell University)|Sep 21, 2022

Robotic Locomotion and Control被引用 9

一句话总结

该论文提出TeLeMan系统，一种基于可穿戴IMU动作捕捉与VR技术的低成本遥操作方案，实现对足式机械臂机器人的实时、直观的运动与操作控制。与传统游戏手柄控制相比，该系统显著提升了排爆任务的执行速度与精度，任务完成时间减少近50%，展现出卓越性能且仅需极少训练。

ABSTRACT

Human life is invaluable. When dangerous or life-threatening tasks need to be completed, robotic platforms could be ideal in replacing human operators. Such a task that we focus on in this work is the Explosive Ordnance Disposal. Robot telepresence has the potential to provide safety solutions, given that mobile robots have shown robust capabilities when operating in several environments. However, autonomy may be challenging and risky at this stage, compared to human operation. Teleoperation could be a compromise between full robot autonomy and human presence. In this paper, we present a relatively cheap solution for telepresence and robot teleoperation, to assist with Explosive Ordnance Disposal, using a legged manipulator (i.e., a legged quadruped robot, embedded with a manipulator and RGB-D sensing). We propose a novel system integration for the non-trivial problem of quadruped manipulator whole-body control. Our system is based on a wearable IMU-based motion capture system that is used for teleoperation and a VR headset for visual telepresence. We experimentally validate our method in real-world, for loco-manipulation tasks that require whole-body robot control and visual telepresence.

研究动机与目标

• 开发一种面向高风险国防应用（如排爆）的低成本、实时遥操作系统，用于足式机械臂机器人。
• 解决通过可穿戴IMU动作捕捉系统实现运动与操作统一全身控制的挑战。
• 通过直观的全身动作映射与VR视觉遥操作，提升遥操作性能与易用性，超越传统游戏手柄界面。
• 在真实排爆任务中验证系统性能，证明其在速度、精度与可学习性方面的优越性。

提出的方法

• 将轻量化、重新配置的5自由度机械臂（ViperX 300）集成至四足机器人（Unitree Laikago）上，以最小化负载负担。
• 采用可穿戴IMU动作捕捉系统（Perception Neuron）实现实时、全身的动作追踪。
• 使用5 GHz Wi-Fi 6实现遥操作员动作捕捉系统与机器人控制计算机之间的低延迟、同步通信。
• 将机载RGB-D相机（Intel Realsense）的视觉反馈融合至VR头显（HTC Vive Pro）中，实现沉浸式遥操作体验。
• 设计统一的控制架构，将遥操作员的全身动作映射为机器人协调的运动与操作指令。
• 应用相对运动调整方法，有效缓解IMU传感器的长期漂移，无需频繁校准。

实验结果

研究问题

• RQ1 可穿戴IMU动作捕捉系统是否能实现比传统游戏手柄控制更直观、更精确的足式机械臂机器人遥操作？
• RQ2 所提出的系统在真实排爆场景中在多大程度上提升了任务表现，特别是在速度与准确性方面？
• RQ3 在复杂运动-操作任务中，用户使用动作捕捉系统与游戏手柄时，其性能随训练的演变情况如何？
• RQ4 在移动操作机器人遥操作中，将VR视觉反馈与动作捕捉技术结合，存在哪些可用性与人体工学挑战？

主要发现

• 可穿戴IMU动作捕捉系统将排爆任务的平均完成时间缩短至118秒，显著快于游戏手柄控制方式。
• 一位仅接受不到两小时训练的用户在45秒内完成任务——较初始表现近乎减半，表明具备极快的学习能力。
• 与早期试验相比，动作捕捉系统在操作任务表现上提升了30%，且性能随训练稳步提升。
• 相比之下，游戏手柄用户在训练过程中未表现出可测量的性能提升，表明存在性能平台期且学习曲线更高。
• 所有用户在VR使用过程中均未报告不适感，且多数认为VR是操作于人类无法进入或危险环境的合适媒介。
• 通过直观的相对运动调整，系统有效缓解了IMU漂移问题，维持了精度，且无需频繁校准。