[论文解读] Pixel-Attentive Policy Gradient for Multi-Fingered Grasping in Cluttered Scenes

Bohan Wu, Iretiayo Akinola+1 more|arXiv (Cornell University)|Mar 8, 2019

Robot Manipulation and Learning参考文献 29被引用 4

一句话总结

本文提出了一种基于像素注意力的策略梯度方法，用于从杂乱场景中的单张深度图像端到端地进行6自由度多指抓取的强化学习。通过直接在像素空间中操作，并使用可学习的注意力机制迭代聚焦于有希望的区域，该方法在无需真实世界微调的情况下，实现了91.9%的真实世界抓取成功率，展示了出色的仿真到现实的迁移能力以及对遮挡的鲁棒性。

ABSTRACT

Recent advances in on-policy reinforcement learning (RL) methods enabled learning agents in virtual environments to master complex tasks with high-dimensional and continuous observation and action spaces. However, leveraging this family of algorithms in multi-fingered robotic grasping remains a challenge due to large sim-to-real fidelity gaps and the high sample complexity of on-policy RL algorithms. This work aims to bridge these gaps by first reinforcement-learning a multi-fingered robotic grasping policy in simulation that operates in the pixel space of the input: a single depth image. Using a mapping from pixel space to Cartesian space according to the depth map, this method transfers to the real world with high fidelity and introduces a novel attention mechanism that substantially improves grasp success rate in cluttered environments. Finally, the direct-generative nature of this method allows learning of multi-fingered grasps that have flexible end-effector positions, orientations and rotations, as well as all degrees of freedom of the hand.

研究动机与目标

• 解决基于策略的强化学习在多指机器人抓取任务中样本复杂度高和仿真到现实差距大的问题。
• 直接从单张深度图像实现完整6自由度抓取策略学习（位置、姿态以及所有手指关节角度）。
• 通过引入可学习的注意力机制，逐步聚焦于图像中的相关区域，提升在杂乱环境中的抓取成功率。
• 通过仅使用深度观测并最小化仿真到现实的领域差异，实现在无需真实世界微调情况下的鲁棒真实世界性能。

提出的方法

• 该方法使用策略梯度强化学习算法，在仿真环境中完全训练，输入为单张深度图像。
• 抓取位姿和手指关节角度在图像空间中逐像素预测，并通过基于深度图的点云重建转换为三维笛卡尔坐标。
• 提出了一种新颖的像素注意力机制，通过迭代裁剪深度图像聚焦于局部区域，模拟放大以提升复杂环境中的抓取质量。
• 注意力机制可学习在预测到高质量抓取时停止裁剪，从而实现非自顶向下的抓取，支持灵活的末端执行器位姿。
• 训练过程中通过改变场景中物体的数量和排列方式应用领域随机化，以提升对杂乱环境的鲁棒性。
• 策略端到端训练，无需任何人工标注的抓取数据或预定义的抓取候选。

Figure 1 : Pixel-Attentive Policy Gradient Multi-Fingered Grasping. Given a scene of cluttered objects (a) , our method takes in a single depth image and gradually zooms into a local region of the image to generate a good grasp. (b) , (c) and (d) show the zooming process, in which the green bounding

实验结果

研究问题

• RQ1 仅使用深度图像进行训练的强化学习策略，是否能在无需真实世界微调的情况下，在杂乱场景中实现高真实世界抓取成功率？
• RQ2 与全局观测相比，一种可学习的、逐步聚焦于图像区域的注意力机制在杂乱环境中如何提升抓取性能？
• RQ3 在复杂场景中，学习完整6自由度抓取位姿和多指构型，与自顶向下或两指抓取相比，其性能优势有多大？
• RQ4 该方法对相机视角变化（如非自顶向下角度）的鲁棒性如何？
• RQ5 多指抓取与简化抓取方式（如平行或自顶向下）相比，对整体性能的贡献有多大？

主要发现

• 该方法在真实世界中对单个已见物体实现了96.7%的成功率，对单个新物体实现了93.3%的成功率，表现出强大的泛化能力。
• 在杂乱场景中，该方法对已见物体的成功率为92.9%，对新物体的成功率为91.9%，表明对遮挡和杂乱具有高度鲁棒性。
• 消融实验表明，移除注意力机制后，杂乱已见物体的成功率下降了21.6%，凸显了其在处理遮挡中的关键作用。
• 强制采用自顶向下抓取导致杂乱已见物体性能下降17.7%，证实了非自顶向下抓取在复杂场景中的优势。
• 在单个已见物体上，仅使用两指抓取而非多指手导致性能下降43.4%，证明了完整多指控制的显著优势。
• 该方法对非自顶向下相机视角具有鲁棒性，在模拟中60°视角下的性能与自顶向下视角无统计学差异。

(a) PyBullet (Train)