[论文解读] Real-Time Grasp Detection Using Convolutional Neural Networks

Joseph Redmon, Anelia Angelova|arXiv (Cornell University)|Dec 9, 2014

Robot Manipulation and Learning被引用 8

一句话总结

本文提出一种基于RGB-D图像的实时、单阶段卷积神经网络，用于机器人抓取检测，直接回归抓取参数（位置、尺寸、方向），无需滑动窗口或区域建议。该方法在13帧每秒下达到88%的准确率，较之前工作提升14个百分点，通过利用全局特征和局部约束的多抓取预测机制，重新定义了速度与准确率的最先进水平。

ABSTRACT

We present an accurate, real-time approach to robotic grasp detection based on convolutional neural networks. Our network performs single-stage regression to graspable bounding boxes without using standard sliding window or region proposal techniques. The model outperforms state-of-the-art approaches by 14 percentage points and runs at 13 frames per second on a GPU. Our network can simultaneously perform classification so that in a single step it recognizes the object and finds a good grasp rectangle. A modification to this model predicts multiple grasps per object by using a locally constrained prediction mechanism. The locally constrained model performs significantly better, especially on objects that can be grasped in a variety of ways.

研究动机与目标

• 开发一种快速且准确的机器人抓取检测方法，用于RGB-D图像，克服先前基于滑动窗口方法在延迟和准确率方面的局限性。
• 通过消除在图像块上多次分类器评估的需求，实现实时抓取检测。
• 通过利用全局图像上下文而非仅依赖局部块，提升抓取预测的准确率。
• 通过局部约束的预测机制，支持单个物体的多个抓取预测。
• 证明可在一次前向传播中联合完成抓取检测与物体分类。

提出的方法

• 基于AlexNet架构的深度卷积神经网络，经过微调以直接回归五维抓取参数：(x, y, θ, h, w)。
• 模型在整幅图像上进行单阶段推理，直接预测抓取坐标，无需区域建议或滑动窗口。
• 局部约束的预测机制通过将预测限制在局部感受野内，使网络能够为每张图像预测多个抓取。
• 网络在ImageNet上预训练，并在Cornell抓取数据集上微调，通过跨模态特征迁移（例如，将RGB特征用于深度图像）提升泛化能力。
• 模型在一次前向传播中联合执行抓取检测与物体分类，提升效率与准确率。
• 多抓取变体采用基于网格的预测方案，其中每个空间位置预测一个抓取，减少单抓取模型中常见的平均化误差。

实验结果

研究问题

• RQ1 单阶段卷积神经网络是否能在不依赖滑动窗口或区域建议技术的情况下，实现实时、高准确率的抓取检测？
• RQ2 在直接回归模型中使用全局图像上下文，与基于局部块的分类方法相比，在抓取检测准确率和鲁棒性方面有何差异？
• RQ3 局部约束的预测机制是否能提升抓取检测性能，特别是在具有多个有效抓取姿态的物体上？
• RQ4 即使应用于深度图像，ImageNet预训练特征在抓取检测任务中能否有效迁移？
• RQ5 抓取检测与物体分类是否可在一次推理过程中联合完成，而不会影响速度或准确率？

主要发现

• 直接回归模型达到88%的抓取检测准确率，较之前最先进方法提升14个百分点。
• 该模型在GPU上以13帧每秒的速度运行，适用于实时机器人应用。
• 多抓取（MultiGrasp）变体显著减少了在对称或具有多个面的物体上，因多个优质抓取之间的平均化导致的误差。
• 在ImageNet上预训练，即使在跨模态特征迁移（如将RGB特征用于深度数据）的情况下，也能实现更好的泛化能力和更快的收敛速度。
• 局部约束的预测机制使模型能够为每张图像预测多个抓取，提升了在复杂或模糊物体上的鲁棒性。
• 该模型在准确率和速度上均优于基于滑动窗口的基线方法，证明了在抓取预测中使用全局上下文的优势。