[论文解读] Using RGB Image as Visual Input for Mapless Robot Navigation

Liulong Ma, Yanjie Liu+1 more|arXiv (Cornell University)|Mar 24, 2019

Advanced Vision and Imaging参考文献 29被引用 9

一句话总结

本文提出了一种无需地图的机器人导航框架，通过使用变分自编码器（VAE）将视觉特征提取与强化学习策略网络解耦，以RGB图像作为视觉输入。通过将VAE学习到的潜在向量输入低维状态表示，该方法显著提升了样本效率，使模拟环境中的有效训练成为可能，并成功实现了向真实环境的迁移，减轻了现实差距带来的挑战。

ABSTRACT

Robot navigation in mapless environment is one of the essential problems and challenges in mobile robots. Deep reinforcement learning is a promising technique to tackle the task of mapless navigation. Since reinforcement learning requires a lot of explorations, it is usually necessary to train the agent in the simulator and then migrate to the real environment. The big reality gap makes RGB image, the most common visual sensor, rarely used. In this paper we present a learning-based mapless motion planner by taking RGB images as visual inputs. Many parameters in end-to-end navigation network taking RGB images as visual input are used to extract visual features. Therefore, we decouple visual features extracted module from the reinforcement learning network to reduce the need of interactions between agent and environment. We use Variational Autoencoder (VAE) to encode the image, and input the obtained latent vector as low-dimensional visual features into the network together with the target and motion information, so that the sampling efficiency of the agent is greatly improved. We built simulation environment as robot navigation environment for algorithm comparison. In the test environment, the proposed method was compared with the end-to-end network, which proved its effectiveness and efficiency. The source code is available: https://github.com/marooncn/navbot.

研究动机与目标

• 解决仅使用RGB图像在真实环境中实现无地图机器人导航的挑战。
• 通过提升强化学习中的样本效率，减少模拟与真实世界部署之间的现实差距。
• 将视觉特征提取与策略网络解耦，以提升训练效率和泛化能力。
• 在保持复杂非结构化环境中高性能的前提下，实现端到端的RGB输入训练。

提出的方法

• 使用变分自编码器（VAE）将原始RGB图像编码为低维潜在向量，作为视觉特征。
• 将潜在向量与目标方向和运动信息结合，形成强化学习智能体的紧凑状态表示。
• 在降维后的状态空间上使用深度强化学习训练策略网络，提升样本效率。
• 该方法将视觉特征学习与策略学习解耦，支持VAE的预训练并加快收敛速度。
• 构建了定制的模拟环境用于训练与评估，实现了与端到端网络的可控对比。
• 通过最小化领域偏移，实现了从模拟到真实世界部署的有效迁移。

实验结果

研究问题

• RQ1 仅使用RGB图像能否在无显式地图的情况下有效实现无地图机器人导航？
• RQ2 如何将视觉特征提取与策略学习解耦，以提升强化学习中的样本效率？
• RQ3 使用VAE进行视觉表征学习在多大程度上减少了机器人导航中的现实差距？
• RQ4 与端到端的RGB导航方法相比，该方法在训练效率和最终性能方面表现如何？

主要发现

• 与端到端的RGB导航方法相比，所提方法实现了更高的样本效率，显著减少了达到收敛所需的环境交互次数。
• 使用VAE学习到的潜在向量作为视觉特征，大幅降低了视觉输入的维度，提升了训练的稳定性和速度。
• 解耦的架构使从模拟环境到真实环境的成功迁移成为可能，表现出对现实差距的鲁棒性。
• 在模拟环境中，该方法在训练效率和最终导航成功率方面均优于端到端网络。