[论文解读] Place Categorization and Semantic Mapping on a Mobile Robot

Niko Sünderhauf, Feras Dayoub+7 more|arXiv (Cornell University)|Jul 9, 2015

Advanced Image and Video Retrieval Techniques被引用 9

一句话总结

本文提出了一种可迁移、可扩展的移动机器人语义映射系统，采用预训练的卷积神经网络（ConvNet）进行场景分类，并通过在线可训练的一对多分类器扩展，以克服封闭集限制。该系统集成到贝叶斯滤波器中以实现时间一致性，可在无需环境特定训练的情况下实现实时语义映射，提升目标检测性能，并实现导航任务中的行为调节。

ABSTRACT

In this paper we focus on the challenging problem of place categorization and semantic mapping on a robot without environment-specific training. Motivated by their ongoing success in various visual recognition tasks, we build our system upon a state-of-the-art convolutional network. We overcome its closed-set limitations by complementing the network with a series of one-vs-all classifiers that can learn to recognize new semantic classes online. Prior domain knowledge is incorporated by embedding the classification system into a Bayesian filter framework that also ensures temporal coherence. We evaluate the classification accuracy of the system on a robot that maps a variety of places on our campus in real-time. We show how semantic information can boost robotic object detection performance and how the semantic map can be used to modulate the robot's behaviour during navigation tasks. The system is made available to the community as a ROS module.

研究动机与目标

• 使移动机器人能够在无需环境特定训练的情况下对场景进行分类并构建语义地图。
• 通过支持在线学习新语义类，克服预训练ConvNet的封闭集限制。
• 通过贝叶斯滤波框架实现时间一致性，提升分类鲁棒性。
• 展示语义信息如何增强机器人目标检测与导航行为。
• 提供一个可重用、开源的ROS模块，供社区部署与扩展。

提出的方法

• 利用预训练的Places205 ConvNet（通过Caffe实现）从RGB图像中提取场景类别概率。
• 通过轻量级的一对多分类器在线训练，补充ConvNet以检测新的语义类别。
• 将双分类系统集成到贝叶斯滤波器中，以实现时间一致性并纠正错误预测。
• 使用SLAM生成的栅格地图将视觉语义标签与激光扫描数据及机器人位姿估计融合，构建三维语义地图（基于OctoMap）。
• 在语义地图中为不同类别分配特定代价值，根据上下文调节路径规划行为（例如，工作时间避开办公室区域）。
• 将完整系统作为ROS模块发布，包含图像分类与语义地图融合的节点。

实验结果

研究问题

• RQ1 预训练的ConvNet能否通过在线学习分类器有效扩展，以支持机器人领域中的终身场景分类？
• RQ2 通过贝叶斯滤波框架引入时间一致性，如何提升动态机器人环境中语义分类的鲁棒性？
• RQ3 语义场景信息在多大程度上能提升机器人目标检测系统的性能？
• RQ4 语义地图能否用于根据环境上下文动态调节机器人在导航任务中的行为？
• RQ5 在无需微调的情况下，是否可行将可迁移、可扩展的语义映射系统部署于真实环境？

主要发现

• 当语义先验与深度学习预测融合后，系统在目标检测中实现了54%的top-1准确率和100%的top-5准确率。
• 语义场景信息通过利用当前场景类别的先验概率对分类器进行条件化，显著降低了目标检测中的误报率。
• 贝叶斯滤波框架显著提升了分类一致性，减少了连续帧之间错误标签的切换。
• 语义地图实现了上下文感知导航：机器人在工作时间避开办公室区域，而在夜间选择最短路径。
• 该系统成功实现实时部署于移动机器人，在多样化的室内外校园环境中运行，且无需环境特定的微调。
• 完整的ROS模块（包括语义映射与分类节点）已发布，可供社区使用。