[论文解读] ROS-PyBullet Interface: A Framework for Reliable Contact Simulation and Human-Robot Interaction

Christopher E. Mower, Theodoros Stouraitis+8 more|arXiv (Cornell University)|Oct 13, 2022

Robot Manipulation and Learning被引用 7

一句话总结

本文提出ROS-PyBullet接口，一种将PyBullet物理仿真器与机器人操作系统（ROS）相连接的框架，用于在接触密集型机器人任务中实现可靠、高保真的接触与碰撞仿真。该框架支持从仿真到真实硬件的策略迁移，集成多种人机交互（HRI）接口，并支持在复杂操作场景中进行机器学习的数据采集。

ABSTRACT

Reliable contact simulation plays a key role in the development of (semi-)autonomous robots, especially when dealing with contact-rich manipulation scenarios, an active robotics research topic. Besides simulation, components such as sensing, perception, data collection, robot hardware control, human interfaces, etc. are all key enablers towards applying machine learning algorithms or model-based approaches in real world systems. However, there is a lack of software connecting reliable contact simulation with the larger robotics ecosystem (i.e. ROS, Orocos), for a more seamless application of novel approaches, found in the literature, to existing robotic hardware. In this paper, we present the ROS-PyBullet Interface, a framework that provides a bridge between the reliable contact/impact simulator PyBullet and the Robot Operating System (ROS). Furthermore, we provide additional utilities for facilitating Human-Robot Interaction (HRI) in the simulated environment. We also present several use-cases that highlight the capabilities and usefulness of our framework. Please check our video, source code, and examples included in the supplementary material. Our full code base is open source and can be found at https://github.com/cmower/ros_pybullet_interface.

研究动机与目标

• 解决可靠接触仿真器（如PyBullet）与ROS生态系统之间缺乏集成的问题，该问题阻碍了在真实机器人上部署学习到的策略。
• 为接触密集型操作任务（如推、抓取和共操作）中的机器学习提供可扩展的数据采集支持。
• 支持多种人机交互（HRI）模式，包括触觉设备、6D鼠标和动作捕捉服，以实现逼真的远程操作与示范数据采集。
• 通过基于ROS的控制流程，实现安全且模块化的控制策略从仿真到真实机器人硬件的迁移。
• 提供可扩展、模块化的软件架构，支持逆运动学、运动规划和模型预测控制（MPC），以加速算法开发。

提出的方法

• 实现一个嵌入ROS的框架，将PyBullet作为主要物理引擎，利用其广义坐标公式实现精确的接触与碰撞建模。
• 设计基于类层次结构和ROS节点的模块化系统，以支持可扩展性，支持与多种机器人（如KUKA IIWA、Nextage、Kinova）和HRI设备的集成。
• 集成多种HRI接口——键盘、鼠标、摇杆、6D鼠标、触觉设备（如HaptX、6D鼠标）以及Xsens动作捕捉服——以实现实时人机协同交互。
• 通过基于ROS的控制接口，实现将学习到的控制目标映射为真实机器人指令，内置关节限位和扭矩约束检查，确保安全运行。
• 通过集成兼容ROS的模块支持模型预测控制（MPC）和逆运动学（IK），提升控制精度与规划能力。
• 使用Python实现，以确保快速原型开发和与机器学习生态系统的兼容性，实验中性能验证达到200 Hz。

实验结果

研究问题

• RQ1 如何有效将可靠的接触仿真框架与ROS生态系统集成，以支持端到端的机器人学习与控制流程？
• RQ2 通过仿真中多种HRI接口收集的人类示范，在多大程度上可用于训练真实世界中接触密集型操作任务的稳健策略？
• RQ3 在以200 Hz运行高保真物理仿真时，基于Python的ROS接口的性能与延迟特性如何？
• RQ4 通过ROS-PyBullet接口，训练于PyBullet中的策略在多大程度上可有效迁移到真实机器人硬件？
• RQ5 哪些关键设计原则能够实现仿真、HRI与真实机器人控制在统一框架下的模块化、可扩展性与互操作性？

主要发现

• ROS-PyBullet接口成功实现了使用PyBullet广义坐标公式的全物理仿真，具备可靠的接触与碰撞建模能力，在复杂接触场景中优于传统ROS兼容仿真器（如Gazebo的Bullet后端）。
• 框架在高达200 Hz下实现实时仿真，未观察到明显延迟，验证了其在实时控制与学习应用中的适用性，尽管使用了Python。
• 多种HRI模式（包括触觉设备和动作捕捉）成功集成，实现了仿真中逼真的人员示范与力反馈。
• 框架通过ROS实现从仿真到真实硬件的策略直接迁移，并内置关节限位与扭矩约束检查，确保安全性。
• 该系统已被多个近期研究工作采纳，包括关于双人共操作、推动物体和机器人手术的研究，证明了其实用性和可重用性。
• 在GitHub上以LGPL协议开源（github.com/cmower/ros_pybullet_interface），并提供全面的文档、示例以及对ROS Noetic的支持，推动了广泛的社区采纳与可扩展性。