[论文解读] Planar Robot Casting with Real2Sim2Real Self-Supervised Learning

Vincent Lim, Huang Huang+6 more|arXiv (Cornell University)|Nov 8, 2021

Robot Manipulation and Learning参考文献 63被引用 13

一句话总结

该论文提出 Real2Sim2Real，一种自监督框架，通过使用20条物理轨迹微调仿真器、生成合成数据，并在真实与仿真数据的加权组合上训练策略，从而提升平面机器人抛缆（planar robot casting）性能——即机器人通过抛掷缆绳使缆绳自由端到达其工作空间之外的目标。该方法在三条不同缆绳上实现了缆绳长度8%–14%的中位端点误差，优于基线方法以及仅在真实或仿真数据上训练的策略。

ABSTRACT

This paper introduces the task of {\em Planar Robot Casting (PRC)}: where one planar motion of a robot arm holding one end of a cable causes the other end to slide across the plane toward a desired target. PRC allows the cable to reach points beyond the robot workspace and has applications for cable management in homes, warehouses, and factories. To efficiently learn a PRC policy for a given cable, we propose Real2Sim2Real, a self-supervised framework that automatically collects physical trajectory examples to tune parameters of a dynamics simulator using Differential Evolution, generates many simulated examples, and then learns a policy using a weighted combination of simulated and physical data. We evaluate Real2Sim2Real with three simulators, Isaac Gym-segmented, Isaac Gym-hybrid, and PyBullet, two function approximators, Gaussian Processes and Neural Networks (NNs), and three cables with differing stiffness, torsion, and friction. Results with 240 physical trials suggest that the PRC policies can attain median error distance (as % of cable length) ranging from 8% to 14%, outperforming baselines and policies trained on only real or only simulated examples. Code, data, and videos are available at https://tinyurl.com/robotcast.

研究动机与目标

• 为解决在动态、高速任务中对如缆绳等可变形一维物体进行长时域动力学操控的挑战。
• 克服缆绳操控中仿真到现实（Sim2Real）的差距，其中动力学不确定性与摩擦导致策略泛化能力差。
• 开发一种自监督框架，通过结合物理数据与仿真数据，以极少量真实数据高效学习控制策略。
• 实现平面机器人抛缆（PRC），即通过单次动态运动使缆绳自由端滑动至机器人可达工作空间之外的目标。
• 证明结合微调后的仿真数据与真实世界数据，相比仅使用任一数据源训练，性能更优。

提出的方法

• 使用UR5机器人采集20条物理轨迹，通过差分进化算法微调动力学仿真器，最小化仿真与真实缆绳轨迹之间的差异。
• 利用微调后的仿真器，在多种缆绳配置和仿真器变体（Isaac Gym-分段、Isaac Gym-混合、PyBullet）下生成64,350条合成轨迹。
• 在真实与仿真轨迹的联合数据集上，使用高斯过程与神经网络训练前向动力学模型，以预测缆绳末端位置。
• 使用真实与仿真数据的加权组合训练PRC策略，损失函数优先对齐真实世界结果。
• 在每次试验后自动将缆绳重置至一致的初始状态，以实现高通量数据采集与策略评估。
• 在三条具有不同刚度、扭转度与摩擦系数的缆绳上，对75次物理试验（每目标5次，共16个目标）进行策略评估。

实验结果

研究问题

• RQ1 自监督框架能否降低在动态操控可变形一维物体（如缆绳）时的Sim2Real差距？
• RQ2 结合微调后的仿真数据与少量真实轨迹，是否能提升策略泛化能力，相比仅使用真实或仅使用仿真数据？
• RQ3 Real2Sim2Real框架能否实现超越机器人物理工作空间的高精度缆绳抛掷？
• RQ4 仿真器选择（如Isaac Gym与PyBullet）和动力学模型选择（高斯过程与神经网络）如何影响策略性能？
• RQ5 仿真器微调对不同缆绳类型下策略鲁棒性与误差分布有何影响？

主要发现

• Real2Sim2Real策略在缆绳1上实现了8%缆绳长度的中位端点误差，显著优于基线的Cast and Pull策略（中位误差61%）。
• 对于缆绳1，仅在真实与仿真数据组合上训练的策略（π_R2S2R）相比仅在真实数据上训练的策略（15% vs. 8%），中位误差降低了近50%。
• 在三条具有不同刚度、扭转度与摩擦系数的缆绳上，中位误差范围为8%至14%的缆绳长度，表明在不同材料属性下具有鲁棒性。
• 仅在仿真数据上训练的策略（π_SD）的最大误差（115%）高于真实-仿真联合训练策略（105%），表明真实数据有助于减少异常行为。
• 仅使用20条真实轨迹进行仿真器微调，即可实现与使用超过500条真实轨迹训练的策略相当的性能，证明了数据效率。
• 该框架成功实现了超越机器人物理工作空间的缆绳可达性，平均而言，缆绳自由端可到达距离目标点14%缆绳长度以内的位置。