[论文解读] Sim2Real2Sim: Bridging the Gap Between Simulation and Real-World in Flexible Object Manipulation

Peng Chang, Taşkın Padır|arXiv (Cornell University)|Feb 6, 2020

Robot Manipulation and Learning参考文献 27被引用 9

一句话总结

本文提出 Sim2Real2Sim，一种新颖的三步策略，通过使用真实世界数据迭代优化仿真模型，以弥合柔性物体操作中仿真与现实之间的差距。通过将仿真控制策略应用于真实的 Kinova Jaco V2 机械臂，利用逆动力学方法识别电缆的物理参数，并基于真实世界中的差异更新仿真模型，该方法在负载下实现了电缆形变误差小于 4.11% 的高保真仿真，成功在仿真和真实环境中自动化完成了 DRC 插拔任务。

ABSTRACT

This paper addresses a new strategy called Simulation-to-Real-to-Simulation (Sim2Real2Sim) to bridge the gap between simulation and real-world, and automate a flexible object manipulation task. This strategy consists of three steps: (1) using the rough environment with the estimated models to develop the methods to complete the manipulation task in the simulation; (2) applying the methods from simulation to real-world and comparing their performance; (3) updating the models and methods in simulation based on the differences between the real world and the simulation. The Plug Task from the 2015 DARPA Robotics Challenge Finals is chosen to evaluate our Sim2Real2Sim strategy. A new identification approach for building the model of the linear flexible objects is derived from real-world to simulation. The automation of the DRC plug task in both simulation and real-world proves the success of the Sim2Real2Sim strategy. Numerical experiments are implemented to validate the simulated model.

研究动机与目标

• 为解决柔性物体机器人操作中长期存在的仿真到现实的差距问题，特别是由于物理建模不准确和未建模动力学所导致的问题。
• 开发一种系统化方法，利用真实世界数据识别并校准线性柔性物体（如电缆）的物理参数。
• 通过迭代优化仿真模型，实现控制策略从仿真到真实机器人系统的可靠迁移。
• 通过在仿真和真实世界环境中自动化完成 DRC 插拔任务，验证该方法的有效性。
• 证明通过校准，仿真模型能够高保真地预测在各种负载下真实世界中电缆的形变。

提出的方法

• Sim2Real2Sim 策略包含三个阶段：(1) 在使用估计物理模型的粗略仿真中开发操作策略；(2) 将这些策略部署在真实机器人上并收集性能数据；(3) 利用真实世界观测结果优化仿真模型。
• 采用基于逆动力学的系统辨识方法，从真实世界的运动学和力数据中估计线性柔性电缆的物理参数（如质量、刚度）。
• 电缆采用带有离散节点的质量-弹簧系统进行建模，其形变在重力和外部载荷作用下进行仿真。
• 使用 RGB-D 相机和带有传感器的机械臂收集真实世界数据，使用 AprilTags 追踪关节和电缆末端的位置。
• 通过最小化仿真与真实世界中关节角度和电缆末端下垂角度之间的差异，迭代更新仿真模型。
• 通过在电缆末端添加重量（50g 和 100g）的受控实验验证模型精度，比较仿真与真实形变。

实验结果

研究问题

• RQ1 仿真-现实-仿真循环是否能有效缩小柔性物体操作中仿真与真实世界性能之间的差距？
• RQ2 能否利用逆动力学方法，从真实世界的运动学数据中高精度识别线性柔性电缆的物理参数？
• RQ3 在模型校准后，仿真模型在重力和外部载荷作用下预测真实世界电缆形变的能力有多高？
• RQ4 在模型优化后，于仿真中开发的控制策略是否能成功在真实机器人上执行 DRC 插拔任务？
• RQ5 在迭代模型校准后，仿真与真实世界之间电缆形变的最大误差是多少？

主要发现

• Sim2Real2Sim 策略在仿真和真实世界中均成功自动化完成了 DRC 插拔任务，证明了其实际可行性和可靠性。
• 在无载荷实验中，仿真与真实世界之间关节位置的最大百分比误差为 3.53%；在 100g 载荷下，误差为 4.11%。
• 当在电缆末端附加 100g 重量时，仿真与真实世界之间电缆下垂角度的最大差异为 0.048 rad（4.11% 误差）。
• 无载荷条件下，电缆形变的平均百分比误差为 1.71%，在第一个固定连接点处下降至 0.43%，表明模型具有高保真度。
• 基于逆动力学的系统辨识方法有效捕捉了电缆的物理特性，从而实现了其形变的精确仿真。
• 迭代优化过程显著减少了仿真与真实世界行为之间的差异，验证了 Sim2Real2Sim 的核心假设。