[论文解读] Planning Multi-Fingered Grasps as Probabilistic Inference in a Learned Deep Network

Qingkai Lu, Kautilya Chenna+2 more|arXiv (Cornell University)|Apr 10, 2018

Robot Manipulation and Learning参考文献 18被引用 18

一句话总结

本文提出了一种新颖的多指抓取规划方法，通过将问题建模为深度卷积神经网络（CNN）中的概率推理，该网络从视觉输入和抓取配置中预测抓取成功率。该方法在神经网络内部使用梯度上升优化，直接推断出高质量的抓取配置，在仅需极少初始配置的情况下，对未见过的物体实现了84%的成功率，优于基于采样的方法，同时实现了数据高效、实时部署。

ABSTRACT

We propose a novel approach to multi-fingered grasp planning leveraging learned deep neural network models. We train a convolutional neural network to predict grasp success as a function of both visual information of an object and grasp configuration. We can then formulate grasp planning as inferring the grasp configuration which maximizes the probability of grasp success. We efficiently perform this inference using a gradient-ascent optimization inside the neural network using the backpropagation algorithm. Our work is the first to directly plan high quality multifingered grasps in configuration space using a deep neural network without the need of an external planner. We validate our inference method performing both multifinger and two-finger grasps on real robots. Our experimental results show that our planning method outperforms existing planning methods for neural networks; while offering several other benefits including being data-efficient in learning and fast enough to be deployed in real robotic applications.

研究动机与目标

• 为解决在不依赖外部规划器的情况下，利用深度神经网络规划高质量多指抓取的挑战。
• 通过使用基于分类的网络并利用负样本抓取实例，提升抓取学习的数据效率。
• 通过在训练好的深度网络内直接执行推理，实现实时可部署的抓取规划。
• 通过在配置空间上进行优化，为单个物体规划出多个高质量抓取。
• 展示端到端学习与优化在统一深度模型中对复杂机器人操作任务的有效性。

提出的方法

• 训练一个卷积神经网络（CNN），以图像块和抓取配置（如关节角度、腕部位姿）为输入，预测抓取成功率的概率。
• 将抓取规划建模为概率推理：最大化 P(Y=1|z,θ)，其中 z 为图像块，θ 为抓取配置。
• 在训练好的网络内使用反向传播进行梯度上升优化，以更新 θ，同时施加约束以确保关节角度保持在物理允许范围内。
• 该方法从多个候选配置（如不同宽度、方向和位置）初始化推理，并选择预测成功率最高的配置。
• 通过与先前工作一致的方法（如 Lenz 等，2015）将优化后的二维矩形抓取姿态转换为三维抓取姿态。
• 提出了两种新型CNN架构：多通道网络和基于图像块的网络，均旨在有效编码抓取配置。

实验结果

研究问题

• RQ1 是否可以在不依赖外部规划器的情况下，在深度神经网络内部有效执行抓取规划的概率推理？
• RQ2 在学习到的网络中使用梯度上升在配置空间上进行优化，是否能比基于采样的方法获得更高的抓取成功率？
• RQ3 基于分类的深度网络用于抓取成功率预测，是否相比回归方法能提升数据效率？
• RQ4 该方法在形状和纹理各异的未见物体上的表现如何？
• RQ5 该方法是否能为单个物体生成多个高质量抓取，从而支持任务特定的选择？

主要发现

• 所提方法在10个未见过的物体上实现了84%的成功率，包括训练数据中未出现的新物品，优于基线采样方法。
• 该方法每件物体仅需四个初始抓取配置即可达到高成功率，显著少于以往基于采样方法通常使用的样本数量。
• 训练好的CNN对成功抓取的预测成功率至少达到96%，但实际成功率为84%，表明预测存在过度自信。
• 该方法通过分类方式有效利用负样本抓取实例，实现了数据效率，而回归模型无法有效利用此类样本。
• 该方法在真实机器人上成功规划出高质量抓取，验证了其在实时性与对物体变异的鲁棒性方面的可行性。
• 对底层分类器的改进可直接提升规划器性能，通过更优的抓取预测实现性能的即时提升。