[论文解读] Recovering 6D Object Pose and Predicting Next-Best-View in the Crowd

Andreas Doumanoglou, Rigas Kouskouridas+2 more|arXiv (Cornell University)|Dec 23, 2015

Advanced Neural Network Applications参考文献 31被引用 12

一句话总结

本文提出了一种统一框架，用于在拥挤场景中进行6D物体位姿估计与下一最佳视角预测，采用稀疏自编码器进行无监督特征学习与霍夫森林（Hough Forests）方法。该方法通过联合分类与回归物体位姿提升位姿精度，利用叶节点熵与遮挡建模实现不确定性感知的下一最佳视角选择，并在公开数据集与自建数据集上实现最先进性能，包括一个新型标注的RGB-D料箱抓取数据集。

ABSTRACT

Object detection and 6D pose estimation in the crowd (scenes with multiple object instances, severe foreground occlusions and background distractors), has become an important problem in many rapidly evolving technological areas such as robotics and augmented reality. Single shot-based 6D pose estimators with manually designed features are still unable to tackle the above challenges, motivating the research towards unsupervised feature learning and next-best-view estimation. In this work, we present a complete framework for both single shot-based 6D object pose estimation and next-best-view prediction based on Hough Forests, the state of the art object pose estimator that performs classification and regression jointly. Rather than using manually designed features we a) propose an unsupervised feature learnt from depth-invariant patches using a Sparse Autoencoder and b) offer an extensive evaluation of various state of the art features. Furthermore, taking advantage of the clustering performed in the leaf nodes of Hough Forests, we learn to estimate the reduction of uncertainty in other views, formulating the problem of selecting the next-best-view. To further improve pose estimation, we propose an improved joint registration and hypotheses verification module as a final refinement step to reject false detections. We provide two additional challenging datasets inspired from realistic scenarios to extensively evaluate the state of the art and our framework. One is related to domestic environments and the other depicts a bin-picking scenario mostly found in industrial settings. We show that our framework significantly outperforms state of the art both on public and on our datasets.

研究动机与目标

• 解决在严重遮挡、杂乱与背景干扰下，拥挤场景中6D物体位姿估计的挑战。
• 通过稀疏自编码器的无监督特征学习，克服单次6D位姿估计中手工设计特征的局限性。
• 利用霍夫森林固有的聚类与熵估计能力，实现基于不确定性的主动下一最佳视角选择。
• 通过集成联合优化与验证步骤，提升检测鲁棒性，减少误报。
• 在公开基准与两个新构建的真实RGB-D数据集（家用与工业料箱抓取场景）上评估该框架。

提出的方法

• 通过无监督方式使用稀疏自编码器从图像块中学习深度不变特征，替代手工设计特征。
• 利用霍夫森林通过6D霍夫投票执行联合分类与6D回归，利用叶节点聚合位姿假设。
• 利用霍夫森林叶节点中位姿假设的熵估计不确定性，并指导下一最佳视角预测。
• 在下一最佳视角估计中通过模拟候选视角下的可见性与部分遮挡，实现遮挡建模。
• 应用联合优化与验证模块以优化位姿假设并排除误报，提升最终精度。
• 在包含 $5 \cdot 10^6$ 个图像块的大规模数据集上训练霍夫森林，并采用并行实现以缩短训练时间。

实验结果

研究问题

• RQ1 与手工特征相比，通过稀疏自编码器进行无监督特征学习是否能提升在拥挤、遮挡场景中的6D物体位姿估计性能？
• RQ2 霍夫森林是否不仅能有效用于位姿估计，还能用于基于不确定性的主动下一最佳视角选择？
• RQ3 在下一最佳视角预测中建模遮挡如何影响后续位姿估计的准确性？
• RQ4 在存在误报与模糊假设的情况下，联合优化在多大程度上能提升位姿估计精度？
• RQ5 所提出的框架在标准基准之外的真实世界场景中泛化能力如何？

主要发现

• 所提方法在超市场景中实现71.2%的平均精度，在料箱抓取场景中实现36.1%，优于先前最先进方法。
• 通过联合优化，方法在所有测试物体上性能最高提升8.9个百分点（例如，“精英”物体的准确率从74.9%提升至77.6%）。
• 带有遮挡优化的下一最佳视角预测能持续选择最优视角，而无优化基线方法常默认选择正前方视角，导致遗漏被遮挡物体。
• 该框架显著缩短了训练时间：每棵树训练仅需90分钟（i7 CPU），而先前方法需3–1天。
• 该方法展现出强大的泛化能力，在公开数据集与新引入的具有挑战性的现实世界数据集上均达到最先进性能。
• 该框架是首个在单一基于图像块的霍夫森林框架中统一无监督特征学习、6D位姿估计与不确定性感知下一最佳视角预测的方案。