[论文解读] Semantic Mapping with Simultaneous Object Detection and Localization

Zhen Zeng, Yunwen Zhou+2 more|arXiv (Cornell University)|Oct 26, 2018

Robotics and Sensor-Based Localization被引用 5

一句话总结

本文提出上下文时间映射（CT-Map），一种基于滤波的RGB-D流中同时进行6-DOF物体检测与定位的方法。该方法采用条件随机场（CRF）建模物体间的上下文关系与姿态的时间一致性，通过粒子滤波实现对物体类别与姿态的鲁棒、生成式推理，从而在检测精度上超越Faster R-CNN，在姿态估计上优于ICP/FPFH。

ABSTRACT

We present a filtering-based method for semantic mapping to simultaneously detect objects and localize their 6 degree-of-freedom pose. For our method, called Contextual Temporal Mapping (or CT-Map), we represent the semantic map as a belief over object classes and poses across an observed scene. Inference for the semantic mapping problem is then modeled in the form of a Conditional Random Field (CRF). CT-Map is a CRF that considers two forms of relationship potentials to account for contextual relations between objects and temporal consistency of object poses, as well as a measurement potential on observations. A particle filtering algorithm is then proposed to perform inference in the CT-Map model. We demonstrate the efficacy of the CT-Map method with a Michigan Progress Fetch robot equipped with a RGB-D sensor. Our results demonstrate that the particle filtering based inference of CT-Map provides improved object detection and pose estimation with respect to baseline methods that treat observations as independent samples of a scene.

研究动机与目标

• 使机器人能够从RGB-D流式观测中联合推断物体类别与6-DOF姿态，构建语义地图。
• 通过建模物体间的上下文关系与姿态的时间一致性，提升对噪声检测器输出的鲁棒性。
• 通过引入具有概率依赖关系的生成式推理，解决独立观测处理方法的局限性。
• 通过在物体状态上的信念估计，实现在杂乱、遮挡或外观变化环境中的精确语义地图构建。
• 证明在真实机器人部署中，上下文与时间先验可显著提升检测与定位性能。

提出的方法

• CT-Map将语义地图构建建模为基于条件随机场（CRF）的物体类别与6-DOF姿态的信念估计问题。
• CRF引入三种势函数：观测上的测量势函数、物体之间的上下文关系势函数，以及姿态序列上的时间一致性势函数。
• 上下文势函数强制实现物体类别之间的共现可能性（如食品类）与物理合理性（如无交叉或悬浮物体）。
• 时间一致性势函数通过偏好跨时间保持一致的姿态来建模物体的持久性，尤其在遮挡期间具有优势。
• 粒子滤波算法在CT-Map模型中执行近似推理，通过迭代采样与评估物体姿态假设来匹配观测。
• 通过生成式推理联合优化物体检测与定位，避免对检测器输出做出硬性决策。

实验结果

研究问题

• RQ1 与将检测结果视为独立样本相比，对物体类别与6-DOF姿态进行联合推理是否能提升检测精度？
• RQ2 物体间的上下文关系（如共现性与物理合理性）在多大程度上增强了语义地图的鲁棒性？
• RQ3 建模物体姿态的时间一致性在遮挡或外观变化期间，能在多大程度上提升定位性能？
• RQ4 基于生成式信念的方法是否能在6-DOF姿态估计中超越ICP与FPFH等判别式方法？
• RQ5 在真实世界杂乱环境中，整合上下文与时间先验对性能有何影响？

主要发现

• CT-Map在物体检测精度上显著优于Faster R-CNN，尤其在纠正误分类物体（如将洗发水瓶误判为牛奶）方面表现突出。
• 该方法成功检测到被桌布遮挡的桌子，得益于先前观测中获得的时间一致性。
• CT-Map在6-DOF姿态估计方面优于ICP与FPFH，在位置与旋转误差阈值下均展现出显著更高的精度。
• 引入上下文关系使CT-Map能够基于语义合理性纠正类别标签，例如在语境不一致时将'洛夫'更正为'碗'。
• 基于粒子滤波的推理机制降低了对局部极小值的敏感性，使姿态估计比判别式配准方法更具鲁棒性。
• 该方法通过在部分或完全遮挡期间持续保持对物体的信念，实现了广义的物体持久性，提升了长期地图构建的可靠性。