[论文解读] Towards Vision-Based Deep Reinforcement Learning for Robotic Motion Control

Fangyi Zhang, Jürgen Leitner+3 more|arXiv (Cornell University)|Nov 12, 2015

Advanced Vision and Imaging参考文献 8被引用 213

一句话总结

本文提出一种基于视觉的深度强化学习系统，采用深度Q网络（DQN）训练机器人机械臂仅通过原始像素输入完成目标抓取，无需事先了解关节状态或构型信息。关键发现是：尽管该智能体在仿真环境中以及使用合成图像的真实世界中表现成功，但在真实相机图像上却失败，凸显了在真实世界机器人视觉DRL中进行领域自适应或鲁棒性设计的必要性。

ABSTRACT

This paper introduces a machine learning based system for controlling a robotic manipulator with visual perception only. The capability to autonomously learn robot controllers solely from raw-pixel images and without any prior knowledge of configuration is shown for the first time. We build upon the success of recent deep reinforcement learning and develop a system for learning target reaching with a three-joint robot manipulator using external visual observation. A Deep Q Network (DQN) was demonstrated to perform target reaching after training in simulation. Transferring the network to real hardware and real observation in a naive approach failed, but experiments show that the network works when replacing camera images with synthetic images.

研究动机与目标

• 使机器人机械臂能够仅通过视觉观察自主学习目标抓取技能，且无需事先了解关节状态或构型信息。
• 探究将深度Q网络（DQN）应用于仿真和真实世界环境中基于视觉的机器人抓取任务的可行性。
• 识别并分析在仿真环境中训练的DQN智能体在部署至真实世界环境（使用真实相机输入）时失败的原因。
• 评估基于实时关节状态生成的合成图像是否能够弥合视觉DRL在机器人抓取任务中从仿真到真实世界的差距。
• 探讨真实世界机器人抓取任务中鲁棒视觉DRL的挑战与未来研究方向。

提出的方法

• 开发了一个2D机器人臂仿真器，用于仅通过单目摄像头的原始像素观测训练DQN智能体完成目标抓取。
• 在仿真环境中使用基于与目标距离的奖励函数训练DQN智能体，探索策略采用ε-贪婪策略。
• 实现基于ROS的接口，以实现实时通信，使Baxter机器人与DQN智能体之间能够通过实时关节角度反馈进行交互。
• 实时从机器人的实际关节角度（S1, E1, W1）生成合成图像，以匹配仿真输入分布并减少领域偏移。
• 在真实世界实验中，使用真实相机图像和合成图像对同一训练好的DQN智能体进行评估，以隔离视觉领域偏移的影响。
• 将仿真与真实世界设置之间的图像差异作为失败的主要原因进行分析，潜在来源包括相机位姿差异、色彩失真和形状不一致。

实验结果

研究问题

• RQ1 DQN智能体能否仅通过原始视觉观测学习目标抓取，而无需任何关于机器人构型或关节状态的先验知识？
• RQ2 为何在仿真环境中训练的DQN智能体在使用真实相机图像部署至真实世界时会失败？
• RQ3 基于实时关节状态生成的合成图像是否能够弥合视觉DRL在机器人抓取任务中从仿真到真实世界的差距？
• RQ4 导致真实世界部署失败的主要视觉领域偏移因素（如图像失真、相机位姿差异等）是什么？
• RQ5 未来DRL架构应如何设计以增强对真实世界机器人控制中视觉领域差距的鲁棒性？

主要发现

• 使用原始像素输入和基于距离的奖励函数训练的DQN智能体在仿真环境中成功学习了目标抓取，且成功率保持稳定。
• 当在真实世界中使用真实相机图像部署时，同一智能体的成功率为0%，表明其完全无法从仿真中泛化。
• 相比之下，当使用从实时关节角度生成的合成图像时，智能体的成功率与仿真环境一致，证实失败的根本原因在于视觉领域偏移。
• 失败的主要原因被确定为仿真与真实世界场景之间输入图像的差异，包括相机位姿变化、色彩失真和形状不一致。
• 本研究表明，即使网络架构和训练过程完全相同，视觉DRL在机器人抓取任务中的直接仿真到真实世界迁移仍会失败。
• 未来工作必须聚焦于减少领域偏移（例如通过提高仿真保真度或图像预处理）或提升模型对视觉领域差距的鲁棒性。