[论文解读] Reaching, Grasping and Re-grasping: Learning Multimode Grasping Skills

Wenbin Hu, Chuanyu Yang+2 more|arXiv (Cornell University)|Feb 11, 2020

Robot Manipulation and Learning参考文献 31被引用 4

一句话总结

本文提出了一种统一的深度强化学习策略，用于机器人抓取，能够在动态环境中无缝整合抓取、抓取和重新抓取。通过使用任务导向的奖励函数，并在训练中引入导致失败的初始状态，该策略在模拟环境中对静态和运动目标均实现了高成功率的鲁棒、无碰撞重新抓取，表现出对部分、噪声视觉观测的实时适应性和强泛化能力。

ABSTRACT

The ability to adapt to uncertainties, recover from failures, and coordinate between hand and fingers are essential sensorimotor skills for fully autonomous robotic grasping. In this paper, we aim to study a unified feedback control policy for generating the finger actions and the motion of hand to accomplish seamlessly coordinated tasks of reaching, grasping and re-grasping. We proposed a set of quantified metrics for task-orientated rewards to guide the policy exploration, and we analyzed and demonstrated the effectiveness of each reward term. To acquire a robust re-grasping motion, we deployed different initial states in training to experience failures that the robot would encounter during grasping due to inaccurate perception or disturbances. The performance of learned policy is evaluated on three different tasks: grasping a static target, grasping a dynamic target, and re-grasping. The quality of learned grasping policy was evaluated based on success rates in different scenarios and the recovery time from failures. The results indicate that the learned policy is able to achieve stable grasps of a static or moving object. Moreover, the policy can adapt to new environmental changes on the fly and execute collision-free re-grasp after a failed attempt within a short recovery time even in difficult configurations.

研究动机与目标

• 开发一种统一的反馈控制策略，以在单一、响应式的框架中协调抓取、抓取和重新抓取。
• 通过在训练中引入导致失败的初始状态，使策略具备从失败中恢复的能力，从而提升真实场景下的鲁棒性。
• 实现实时适应环境突变以及部分或噪声视觉观测的能力。
• 通过在模拟环境中从零开始通过试错学习，减少对预采集数据或人工控制器设计的依赖。
• 通过在训练过程中引入真实约束和传感器噪声，促进模拟到现实的迁移。

提出的方法

• 采用无模型深度强化学习框架，从原始观测（包括物体关键点和手部接触力）端到端训练策略。
• 设计了多组件奖励函数，包含目标距离、手指方向对齐、拓扑一致性、接触力、物体速度和碰撞避免等项。
• 在训练中显式引入导致失败的初始状态，使智能体暴露于重新抓取场景中，从而提升恢复行为。
• 通过仅使用物体一半的关键点并添加高斯噪声（σ = 0.02m）来模拟部分和噪声视觉观测，以复现真实传感器的局限性。
• 通过对手指峰值扭矩（≤2 N·m）和手部速度（≤1 m/s）施加惩罚，强制执行运动约束，确保安全性和硬件可行性。
• 在基于PyBullet的模拟环境中训练和评估策略，使用三指机器人手和Franka机械臂运动学链。

实验结果

研究问题

• RQ1 单一深度强化学习策略能否有效以统一方式协调抓取、抓取和重新抓取？
• RQ2 奖励函数的各个组成部分在策略成功与鲁棒性中分别起到何种作用？
• RQ3 该策略在复杂构型下从抓取失败中恢复并高效重新抓取的能力有多强？
• RQ4 该策略在未见物体以及部分/噪声视觉输入下的泛化能力如何？
• RQ5 在考虑真实训练约束的前提下，该策略能否成功迁移到真实硬件上？

主要发现

• 在受控条件下，策略对静态目标的抓取成功率达到100%，对动态目标的抓取成功率达到95%。
• 策略在失败后成功执行了无碰撞的重新抓取，平均恢复时间小于0.5秒。
• 消融研究显示，若移除手指末端距离奖励项（r_distTips），所有任务均完全失败，凸显其关键作用。
• 策略对未见物体（包括圆柱体、易拉罐、芥末瓶和木块）表现出良好泛化能力，证明其对形状和尺寸变化的鲁棒性。
• 所有任务中，手指关节峰值扭矩均低于2 N·m，手部速度低于1 m/s，确认符合硬件安全限制。
• 在部分和噪声视觉观测下，策略保持鲁棒性，即使仅使用50%的物体关键点并添加噪声，性能依然保持高水平。