[论文解读] Scene-level Pose Estimation for Multiple Instances of Densely Packed Objects

Chaitanya Mitash, Bowen Wen+2 more|arXiv (Cornell University)|Jan 1, 2019

Robot Manipulation and Learning被引用 11

一句话总结

该论文提出了一种自监督的、基于仿真方法，用于从RGB-D数据中实现对多个密集堆叠物体的鲁棒性联合6D姿态估计。该方法利用合成数据进行对抗性训练，以学习语义分割和实例分割；通过随机检测器采样姿态候选；并采用梯度提升树基于表面和边界对齐情况对候选姿态进行评分；最终通过整数线性规划选择最优姿态，仅使用合成训练数据即实现了最先进水平的精度。

ABSTRACT

This paper introduces key machine learning operations that allow the realization of robust, joint 6D pose estimation of multiple instances of objects either densely packed or in unstructured piles from RGB-D data. The first objective is to learn semantic and instance-boundary detectors without manual labeling. An adversarial training framework in conjunction with physics-based simulation is used to achieve detectors that behave similarly in synthetic and real data. Given the stochastic output of such detectors, candidates for object poses are sampled. The second objective is to automatically learn a single score for each pose candidate that represents its quality in terms of explaining the entire scene via a gradient boosted tree. The proposed method uses features derived from surface and boundary alignment between the observed scene and the object model placed at hypothesized poses. Scene-level, multi-instance pose estimation is then achieved by an integer linear programming process that selects hypotheses that maximize the sum of the learned individual scores, while respecting constraints, such as avoiding collisions. To evaluate this method, a dataset of densely packed objects with challenging setups for state-of-the-art approaches is collected. Experiments on this dataset and a public one show that the method significantly outperforms alternatives in terms of 6D pose accuracy while trained only with synthetic datasets.

研究动机与目标

• 实现对杂乱场景中多个密集堆叠物体的准确联合6D姿态估计，且无需人工实例级标注。
• 通过物理仿真环境中的对抗性训练，弥合合成数据与真实世界数据在物体检测和实例分割任务上的域差距。
• 基于观测场景与假设物体位姿之间几何对齐特征，自动学习评分函数以评估姿态候选的质量。
• 通过整数线性规划联合优化多个物体的姿态，最大化总得分的同时强制满足无碰撞约束。
• 在新收集的、具有挑战性的密集堆叠物体数据集和公开基准上评估该方法，证明其能从合成数据中实现强大的泛化能力。

提出的方法

• 采用对抗性训练框架，对齐合成数据与真实数据的分布，用于语义分割和实例边界检测，从而实现在真实场景中的零样本泛化。
• 利用随机物体检测器的输出，从场景中每个检测到的物体实例采样多个6D姿态假设。
• 梯度提升树模型基于表面和边界对齐程度的测量特征，为每个姿态候选学习一个统一的质量评分。
• 整数线性规划通过最大化所有实例的得分总和，选择一组无碰撞的最优姿态。
• 整个流程仅在基于物理仿真的合成RGB-D数据上进行端到端训练，完全避免了真实世界标注的依赖。
• 该方法利用预测与观测场景结构之间的几何一致性，提升了在杂乱、重叠配置下的鲁棒性。

实验结果

研究问题

• RQ1 能否通过自监督方法，仅使用合成训练数据实现对多个密集堆叠物体的高精度6D姿态估计？
• RQ2 在杂乱场景中，对抗性域适应在对齐合成与真实数据分布以实现实例级检测方面效果如何？
• RQ3 基于几何对齐特征的可学习评分函数是否能在复杂、重叠的场景中可靠地对姿态候选进行排序？
• RQ4 与独立选择相比，引入碰撞约束的整数线性规划在多大程度上提升了最终姿态估计的精度？
• RQ5 与最先进方法相比，该方法在真实世界无结构物体堆叠场景中的泛化能力如何？

主要发现

• 该方法在新收集的密集堆叠数据集和公开基准上均实现了最先进水平的6D姿态估计精度，优于现有方法。
• 尽管仅在合成数据上进行训练，该模型仍能有效泛化到真实世界场景，展现出强大的零样本域泛化能力。
• 结合物理仿真的对抗性训练显著缩小了合成数据与真实数据在实例分割和检测任务上的域差距。
• 梯度提升树评分机制通过测量观测场景与预测场景结构之间的几何一致性，有效识别出高质量姿态候选。
• 引入碰撞约束的整数线性规划通过解决重叠物体假设之间的冲突，显著提升了最终姿态估计的精度。
• 即使在高度杂乱、密集堆叠的场景中，该方法仍能保持高性能，而最先进方法在此类场景中往往失效或性能显著下降。