[论文解读] Multiple Object Detection, Tracking and Long-Term Dynamics Learning in Large 3D Maps

Nils Bore, Patric Jensfelt+1 more|arXiv (Cornell University)|Jan 28, 2018

Robotics and Sensor-Based Localization参考文献 29被引用 8

一句话总结

本文提出了一种基于概率的框架，用于在大规模3D环境中，通过移动机器人跟踪多个可移动物体并学习其长期动态。通过将Rao-Blackwellized粒子滤波扩展以支持使用Gibbs采样进行对象出生/死亡处理，并采用无监督EM-based参数学习方法，系统能够自动推断对象位置、数量及运动模型，与先前工作相比显著降低了建模偏差。

ABSTRACT

In this work, we present a method for tracking and learning the dynamics of all objects in a large scale robot environment. A mobile robot patrols the environment and visits the different locations one by one. Movable objects are discovered by change detection, and tracked throughout the robot deployment. For tracking, we extend the Rao-Blackwellized particle filter of previous work with birth and death processes, enabling the method to handle an arbitrary number of objects. Target births and associations are sampled using Gibbs sampling. The parameters of the system are then learnt using the Expectation Maximization algorithm in an unsupervised fashion. The system therefore enables learning of the dynamics of one particular environment, and of its objects. The algorithm is evaluated on data collected autonomously by a mobile robot in an office environment during a real-world deployment. We show that the algorithm automatically identifies and tracks the moving objects within 3D maps and infers plausible dynamics models, significantly decreasing the modeling bias of our previous work. The proposed method represents an improvement over previous methods for environment dynamics learning as it allows for learning of fine grained processes.

研究动机与目标

• 解决在真实世界室内环境中对动态物体进行跟踪与建模的挑战，这些物体在机器人未观测时会发生移动。
• 克服先前固定物体跟踪系统存在的局限性，这些系统需要手动调参，且无法处理可变数量的物体。
• 通过长期机器人部署数据，实现对物体动态（包括运动模式和跳跃概率）的无监督学习。
• 通过从真实世界数据中学习细粒度动态而非依赖高估的不确定性，从而减少建模偏差。
• 通过理解正常物体摆放位置及异常情况，开发支持自主清洁和物体重新定位任务的系统。

提出的方法

• 使用配备RGBD相机的移动机器人，收集环境中离散位置的连续3D地图。
• 在局部3D地图上应用变化检测，以识别新出现或被移动的物体，形成对象存在性与位置的后验概率。
• 将Rao-Blackwellized粒子滤波扩展，引入出生与死亡过程，以动态处理任意数量的物体。
• 使用Gibbs采样联合推断跨时间步的物体关联、出生与死亡。
• 应用期望最大化（EM）算法，以无监督方式学习系统参数（如跳跃概率 $p_{\text{jump}}$ 和过程噪声方差 $\sigma_q^2$）。
• 采用马尔可夫过程建模物体动态，结合位置相关的跳跃概率，实现对典型运动模式的推断。

实验结果

研究问题

• RQ1 移动机器人能否在无先验知识的情况下，自动检测、跟踪并学习大规模3D环境中多个可移动物体的动态？
• RQ2 跟踪系统如何在处理未知且可变数量物体的同时，考虑机器人未在场时发生的物体移动？
• RQ3 与手动调参相比，无监督EM-based学习在多大程度上能提升物体动态模型的准确性？
• RQ4 系统能否从真实世界机器人部署数据中推断出合理的运动模型（如跳跃概率、空间方差）？
• RQ5 在真实世界动态环境中，引入不连续跳跃和物体出生/死亡过程在多大程度上提升了跟踪性能？

主要发现

• 系统成功在多次机器人访问中跟踪可变数量的物体，对象的出生与死亡通过Gibbs采样处理。
• EM算法收敛至稳定的参数估计值，且迭代过程中期望似然持续增加，表明无监督学习有效。
• 与依赖高估不确定性先前工作相比，所学习的动态模型显著降低了建模偏差。
• 系统推断出跳跃概率 $p_{\text{jump}} = 0.036$ 和空间过程方差 $\sigma_q^2 = 0.137$，与观测到的物体运动模式一致。
• 该方法通过学习典型物体行为（如频繁在特定位置间移动，例如从办公室到厨房），实现了更优的环境表征。
• 即使不使用时间依赖的参数缩放或强先验，该框架仍表现出鲁棒性，且在真实世界数据中实现收敛。