[论文解读] Object Goal Navigation using Goal-Oriented Semantic Exploration

Devendra Singh Chaplot, Dhiraj Gandhi+2 more|arXiv (Cornell University)|Jul 1, 2020

Multimodal Machine Learning Applications参考文献 50被引用 221

一句话总结

SemExp 构建了语义地图和以目标为导向的探索策略，以在未见环境中高效导航到对象类别，超越基线并夺得 CVPR 2020 Habitat ObjectNav 挑战赛。它也能很好地迁移到真实机器人。

ABSTRACT

This work studies the problem of object goal navigation which involves navigating to an instance of the given object category in unseen environments. End-to-end learning-based navigation methods struggle at this task as they are ineffective at exploration and long-term planning. We propose a modular system called, `Goal-Oriented Semantic Exploration' which builds an episodic semantic map and uses it to explore the environment efficiently based on the goal object category. Empirical results in visually realistic simulation environments show that the proposed model outperforms a wide range of baselines including end-to-end learning-based methods as well as modular map-based methods and led to the winning entry of the CVPR-2020 Habitat ObjectNav Challenge. Ablation analysis indicates that the proposed model learns semantic priors of the relative arrangement of objects in a scene, and uses them to explore efficiently. Domain-agnostic module design allow us to transfer our model to a mobile robot platform and achieve similar performance for object goal navigation in the real-world.

研究动机与目标

• 通过在显式情节记忆中利用语义信息，激发并解决在未见环境中的对象目标导航。
• 提出一个模块化系统，将语义映射与以目标为导向的探索策略结合，以提升探索效率和长期规划。
• 利用带可微投影的预训练第一人称语义预测来构建自上而下的语义地图。
• 在仿真栖息地中展示最先进的性能并具备向现实世界机器人平台迁移的能力。

提出的方法

• 引入 SemExp，包含两个可学习模块：语义映射和面向目标的语义策略。
• 构建一个自上而下的语义地图，包含障碍/已探索通道以及 15 个对象类别通道；使用来自第一人称预测的可微投影。
• 从 RGB 预测语义类别，使用预训练检测器（Mask R-CNN）并投影到自上而下的空间；应用去噪网络以获得地图。
• 训练面向目标的语义策略以基于语义先验选择长期目标；使用以距离缩短到最近目标对象为奖励的 PPO。
• 使用确定性的局部规划器（Fast Marching Method）从当前位置到达长期目标，边更新地图边每步重新规划。

实验结果

研究问题

• RQ1 显式语义地图如何提升在未见环境中的对象目标导航？
• RQ2 在导航任务中，面向目标的语义探索策略是否优于目标不可知的探索？
• RQ3 是否可以学习并利用场景中对象排列的语义先验来提升探索效率？
• RQ4 SemExp 框架从仿真到现实世界机器人平台的迁移能力如何？

主要发现

• SemExp 在 Gibson 和 MP3D 数据集上优于所有基线，SPL 和 Success 更高，DTS 更低，相比 Active Neural SLAM。
• 消融实验表明，语义映射和目标驱动策略对性能均有显著贡献；GT 语义分割进一步提升了结果。
• 使用真实语义分割显著提高成功率（73.1% 对 54.4%），凸显语义预测质量是关键瓶颈。
• SemExp 在 CVPR 2020 Habitat ObjectNav Challenge 中实现了 25.3% 的成功率，胜过下一个最佳参赛者。
• 与 Locobot 的现实世界迁移实验显示 65% 的成功率，表明领域无关的设计以及对预训练检测器的依赖使仿真到现实的迁移更有效。