[论文解读] Multi-Task Deep Networks for Depth-Based 6D Object Pose and Joint Registration in Crowd Scenarios

Juil Sock, Kwang In Kim+2 more|arXiv (Cornell University)|Jun 11, 2018

Mobile Crowdsensing and Crowdsourcing参考文献 26被引用 21

一句话总结

本文提出了一种用于拥挤深度图像中6D物体位姿估计与联合配准的多任务深度学习框架，通过联合训练2D检测、6D位姿回归和遮挡感知配准，显式建模训练过程中的遮挡模式，从而在无需后处理ICP精炼的情况下，相较于最先进方法在箱子抓取数据集上实现了15–31%更高的平均精度。

ABSTRACT

In bin-picking scenarios, multiple instances of an object of interest are stacked in a pile randomly, and hence, the instances are inherently subjected to the challenges: severe occlusion, clutter, and similar-looking distractors. Most existing methods are, however, for single isolated object instances, while some recent methods tackle crowd scenarios as post-refinement which accounts multiple object relations. In this paper, we address recovering 6D poses of multiple instances in bin-picking scenarios in depth modality by multi-task learning in deep neural networks. Our architecture jointly learns multiple sub-tasks: 2D detection, depth, and 3D pose estimation of individual objects; and joint registration of multiple objects. For training data generation, depth images of physically plausible object pose configurations are generated by a 3D object model in a physics simulation, which yields diverse occlusion patterns to learn. We adopt a state-of-the-art object detector, and 2D offsets are further estimated via a network to refine misaligned 2D detections. The depth and 3D pose estimator is designed to generate multiple hypotheses per detection. This allows the joint registration network to learn occlusion patterns and remove physically implausible pose hypotheses. We apply our architecture on both synthetic (our own and Sileane dataset) and real (a public Bin-Picking dataset) data, showing that it significantly outperforms state-of-the-art methods by 15-31% in average precision.

研究动机与目标

• 解决在包含多个相同物体的高遮挡、杂乱箱子抓取场景中6D物体位姿估计的挑战。
• 克服现有方法在孤立实例上进行训练并依赖后处理ICP进行精炼的局限性。
• 联合学习2D检测、6D位姿估计与联合配准，以在训练过程中建模相互遮挡模式。
• 通过3D仿真生成多样化、物理上合理的遮挡模式，以增强训练数据的鲁棒性。
• 在无需外部精炼的情况下实现最先进性能，证明其对严重遮挡和杂乱环境的强鲁棒性。

提出的方法

• 设计一个具有共享主干网络（VGG初始化）和三个子网络的多任务深度神经网络：2D检测、6D位姿估计与联合配准。
• 采用两阶段2D检测器，通过预测偏移量来优化初始边界框预测，提升与真实值的对齐精度。
• 训练6D位姿估计器为每个检测生成多个假设，以增强对遮挡和模糊性的鲁棒性。
• 集成一个联合配准网络，基于遮挡一致性评估并移除物理上不合理的位姿假设。
• 使用基于物理的3D仿真器生成合成训练数据，以生成多样化且逼真的遮挡模式。
• 使用结合检测、深度、3D位姿与联合配准监督的多任务损失，端到端训练整个网络。

实验结果

研究问题

• RQ1 多任务深度网络能否联合学习2D检测、6D位姿估计与联合配准，从而在拥挤场景中提升性能？
• RQ2 在训练过程中显式建模遮挡模式是否能带来更好的泛化能力并减少对后处理ICP的依赖？
• RQ3 在严重遮挡条件下，该方法与最先进RGBD和纯深度方法相比，平均精度表现如何？
• RQ4 通过偏移量实现的2D检测精炼在多大程度上提升了下游位姿与配准任务的准确性？
• RQ5 该模型是否能在未见过的杂乱背景和非箱子抓取场景中实现零微调下的泛化能力？

主要发现

• 所提方法在合成数据集（Siléane）和真实数据集（公开箱子抓取数据集）上，相较于最先进方法，平均精度提升了15–31%。
• 在不使用ICP后处理的情况下，模型性能优于依赖ICP的方法，证明了端到端遮挡建模的有效性。
• 消融实验表明，移除2D检测偏移头会显著降低性能，凸显其在准确初始定位中的关键作用。
• 在非箱子抓取数据集上，尽管仅在前景图像上进行训练，模型性能仍与最先进方法（Kehl et al.）相当，表明其对背景杂乱具有强大泛化能力。
• 定性结果表明，该方法能正确恢复从轻度到严重遮挡物体的位姿，而基线方法则会遗漏多个被遮挡的实例。
• 在GTX 1080ti上，该模型每张深度图像的测试推理时间为204ms，证明其在实时机器人应用中的实际可行性。