[论文解读] Transferring Vision-based Robotic Reaching Skills from Simulation to Real World

Fangyi Zhang, Jürgen Leitner+2 more|arXiv (Cornell University)|Oct 21, 2016

Robotics and Sensor-Based Localization被引用 3

一句话总结

该论文提出了一种模块化的深度强化学习框架，通过引入感知-控制瓶颈，将基于视觉的机器人抓取策略从仿真环境成功迁移至真实世界。在独立预训练和端到端微调之后，该方法实现了1.6像素的平均误差——显著优于直接迁移方法（17.5像素），实现了高效、数据高效的策略迁移，且无需大规模真实世界数据集。

ABSTRACT

While deep learning has had significant successes in computer vision thanks to the abundance of visual data, collecting sufficiently large real-world datasets for robot learning can be costly. To increase the practicality of these techniques on real robots, we propose a modular deep reinforcement learning method capable of transferring models trained in simulation to a real-world robotic task. We introduce a bottleneck between perception and control, enabling the networks to be trained independently, but then merged and fine-tuned in an end-to-end manner to further improve hand-eye coordination. On a canonical, planar visually-guided robot reaching task a fine-tuned accuracy of 1.6 pixels is achieved, a significant improvement over naive transfer (17.5 pixels), showing the potential for more complicated and broader applications. Our method provides a technique for more efficient learning and transfer of visuo-motor policies for real robotic systems without relying entirely on large real-world robot datasets.

研究动机与目标

• 解决为视觉引导策略学习收集真实世界机器人数据集的高昂成本问题。
• 实现基于视觉的机器人策略从仿真环境到真实世界部署的有效迁移。
• 通过模块化训练和端到端微调，提升视觉-运动控制中的手眼协调能力。
• 在保持真实世界任务高精度的同时，降低对大规模真实世界数据的依赖。

提出的方法

• 在感知网络与控制网络之间引入瓶颈层，以解耦并模块化训练过程。
• 使用仿真数据独立训练感知网络和控制网络。
• 将预训练的网络模块合并，并在真实世界数据上进行端到端的微调。
• 使用深度强化学习在仿真环境中优化视觉-运动策略。
• 在仿真中应用领域随机化和数据增强，以提升对真实世界领域偏移的鲁棒性。
• 基于视觉观测空间中像素级目标距离设计奖励函数，以优化策略。

实验结果

研究问题

• RQ1 采用感知-控制瓶颈的模块化训练方法是否能提升从仿真到真实世界机器人抓取任务的迁移性能？
• RQ2 在模块化预训练之后进行端到端微调，与直接迁移相比，是否能显著提高真实世界中的准确性？
• RQ3 在不依赖大规模真实世界数据集的前提下，真实世界性能最多可提升到何种程度？
• RQ4 该瓶颈架构是否能增强视觉-运动策略的泛化能力与手眼协调性？

主要发现

• 该方法在微调后实现了真实世界机器人抓取任务中1.6像素的平均误差，显著优于直接迁移方法。
• 直接从仿真环境迁移到真实世界导致平均误差高达17.5像素，凸显了直接策略迁移的局限性。
• 采用模块化训练与端到端微调的方法显著提升了手眼协调能力，并增强了对领域偏移的鲁棒性。
• 该方法无需大规模真实世界数据集，即可实现高精度的策略迁移。
• 瓶颈架构有效实现了感知与控制训练的解耦，同时在融合后仍能保持强大的端到端性能。
• 该方法在复杂视觉-运动控制任务中展现出广泛应用于真实机器人系统的巨大潜力。