[论文解读] Towards Precise Robotic Grasping by Probabilistic Post-grasp Displacement Estimation

Jialiang Zhao, Jacky Liang+1 more|arXiv (Cornell University)|Sep 4, 2019

Robot Manipulation and Learning被引用 5

一句话总结

本文提出一种基于仿真训练的深度学习方法，可同时预测抓取成功率与抓取后物体位移分布，从而实现精确的机器人抓取。通过选择成功率高且位移方差低的抓取策略，该方法在未经真实世界微调的情况下，对新型真实世界物体实现了0.68厘米的平均平动误差和3.42°的旋转误差。

ABSTRACT

Precise robotic grasping is important for many industrial applications, such as assembly and palletizing, where the location of the object needs to be controlled and known. However, achieving precise grasps is challenging due to noise in sensing and control, as well as unknown object properties. We propose a method to plan robotic grasps that are both robust and precise by training two convolutional neural networks - one to predict the robustness of a grasp and another to predict a distribution of post-grasp object displacements. Our networks are trained with depth images in simulation on a dataset of over 1000 industrial parts and were successfully deployed on a real robot without having to be further fine-tuned. The proposed displacement estimator achieves a mean prediction errors of 0.68cm and 3.42deg on novel objects in real world experiments.

研究动机与目标

• 解决工业任务中对抓取后物体位姿已知的精确机器人抓取挑战。
• 通过仅在模拟深度图像上训练，无需真实世界微调，克服抓取任务中的仿真到现实域差距。
• 通过不仅预测抓取成功率，还预测抓取后位移分布，提升抓取精度。
• 通过补偿可预测的抓取后物体位移，使下游任务（如堆叠）成为可能。
• 开发一种基于低位移方差抓取选择的方法，以提升真实世界部署中的稳定性和准确性。

提出的方法

• 在1,000多种工业零件的模拟深度图像上训练两个卷积神经网络（CNN）：一个用于抓取鲁棒性预测，另一个用于抓取后位移分布预测。
• 通过领域随机化和仅使用深度图像输入，减少仿真到现实的域差距，实现零样本部署于真实机器人。
• 预测抓取后位移的完整概率分布（平动与转动），而非单一点估计。
• 基于高抓取成功率和低预测位移方差选择抓取策略，以提升精度。
• 利用基于标记点的位姿标定方法在彩色图像上估计真实世界位移，假设位移为平面运动。
• 在任务执行（如堆叠）过程中，通过相应调整目标位姿来补偿预测的位移。

实验结果

研究问题

• RQ1 基于仿真到真实世界的深度学习方法，能否足够准确地预测抓取后物体位移，从而在无需真实世界微调的情况下实现精确机器人操作？
• RQ2 在真实世界实验中，选择预测位移方差较低的抓取策略，对抓取后位移估计精度有何影响？
• RQ3 在存在传感与控制噪声的情况下，概率性位移预测在多大程度上能提升下游任务（如堆叠）的性能？
• RQ4 仅使用深度图像输入并基于仿真训练，能否消除精确抓取任务中对领域自适应或真实世界数据采集的需求？
• RQ5 在真实世界设置中，该方法在新型未见工业零件上的预测误差与基线方法相比如何？

主要发现

• 该方法在零样本部署至真实世界后，对新型真实世界工业零件实现了0.68厘米的平均平动均方根误差（RMSE）和3.42°的旋转RMSE。
• 选择高成功率且预测位移方差低的抓取策略，降低了误差方差，提升了不同物体间的稳定性。
• GCIP-M+V模型在平动与旋转位移预测中均优于其他变体，在真实世界实验中实现了最低的RMSE。
• 通过补偿预测位移，该方法成功实现了精确堆叠，展示了在下游任务中的实际应用价值。
• 在每次试验中选择得分最高的抓取策略时，系统实现了86.3%的抓取成功率，证实了抓取质量预测的鲁棒性。
• 该方法成功部署于真实Franka Panda机器人上，且未进行任何真实世界微调，验证了仅使用深度图像进行仿真到真实泛化的有效性。