[论文解读] Towards Cognitive Exploration through Deep Reinforcement Learning for Mobile Robots

Lei Tai, Ming Liu|arXiv (Cornell University)|Oct 6, 2016

Reinforcement Learning in Robotics参考文献 20被引用 78

一句话总结

本文提出了一种端到端深度强化学习（DRL）框架，使移动机器人仅使用RGB-D传感器的原始深度图像即可自主探索未知的室内环境。通过使用先前训练的监督模型初始化卷积神经网络（CNN），并利用DRL进行微调，机器人能够学习最优运动指令，同时提升可通行性感知能力，在模拟环境和真实环境中均实现了稳健的探索，且无需人工标注。

ABSTRACT

Exploration in an unknown environment is the core functionality for mobile robots. Learning-based exploration methods, including convolutional neural networks, provide excellent strategies without human-designed logic for the feature extraction. But the conventional supervised learning algorithms cost lots of efforts on the labeling work of datasets inevitably. Scenes not included in the training set are mostly unrecognized either. We propose a deep reinforcement learning method for the exploration of mobile robots in an indoor environment with the depth information from an RGB-D sensor only. Based on the Deep Q-Network framework, the raw depth image is taken as the only input to estimate the Q values corresponding to all moving commands. The training of the network weights is end-to-end. In arbitrarily constructed simulation environments, we show that the robot can be quickly adapted to unfamiliar scenes without any man-made labeling. Besides, through analysis of receptive fields of feature representations, deep reinforcement learning motivates the convolutional networks to estimate the traversability of the scenes. The test results are compared with the exploration strategies separately based on deep learning or reinforcement learning. Even trained only in the simulated environment, experimental results in real-world environment demonstrate that the cognitive ability of robot controller is dramatically improved compared with the supervised method. We believe it is the first time that raw sensor information is used to build cognitive exploration strategy for mobile robots through end-to-end deep reinforcement learning.

研究动机与目标

• 开发一种仅使用深度传感器输入的移动机器人在未知室内环境中进行认知探索的策略。
• 克服机器人领域监督学习的局限性，特别是数据标注负担重以及在未见场景中泛化能力差的问题。
• 实现端到端训练深度强化学习策略，直接将原始深度图像映射为控制指令。
• 通过感受野分析评估模型的认知能力，证明其在可通行性感知方面的改进。
• 在模拟环境和真实环境中验证该方法，展示从仿真到现实的迁移能力。

提出的方法

• 该方法采用深度Q网络（DQN）框架，以原始深度图像作为输入，输出五个运动指令（前进、左转、右转、向左转、向右转）的Q值。
• 卷积神经网络（CNN）的权重通过先前工作的预训练监督模型进行初始化，从而加快收敛速度并获得更优的初始特征表示。
• 通过使用鼓励区域覆盖并惩罚碰撞的奖励函数，端到端地使用深度强化学习训练网络。
• 通过双线性上采样特征图对感受野进行可视化，以解释输入深度图像的哪些区域影响了策略决策。
• 训练仅在模拟环境中进行，未使用任何真实世界数据，以测试零样本泛化到真实场景的能力。
• 采用动作值估计评估模型对运动决策的信心，较低的值表示更高的碰撞风险。

实验结果

研究问题

• RQ1 深度强化学习智能体能否在无需人工设计特征或标注数据的情况下，直接从原始深度图像中学习有效的探索策略？
• RQ2 与监督学习方法相比，端到端DRL在提升机器人感知可通行路径方面的能力有何改进？
• RQ3 在仿真环境中训练的DRL策略在未经过微调的情况下，能在多大程度上泛化到真实世界的室内环境中？
• RQ4 感受野分析能为深度网络在探索过程中认知推理过程提供哪些见解？
• RQ5 DRL策略在面对训练环境中未出现的新颖或不规则障碍物时，是否表现出更强的鲁棒性？

主要发现

• DRL模型在模拟和真实世界测试中均成功探索了未知室内环境，其性能优于未使用任何真实世界训练数据的监督学习基线模型。
• 即使仅在仿真环境中训练，DRL模型也能有效泛化到真实世界场景，包括狭窄走廊和不规则障碍物，展现出强大的零样本迁移能力。
• 感受野分析显示，DRL模型学会了同时关注最远可到达区域的深度和路径的宽度，表明其在可通行性认知感知方面有所提升。
• 相比之下，监督学习模型始终倾向于最远的点，导致在存在多个障碍物的复杂场景中发生碰撞。
• DRL模型能正确识别并避开狭窄通道（如R3和R4），而监督学习模型由于仅关注深度信息，无法识别此类区域而失败。
• 动作值估计与碰撞风险相关：存在近距离障碍物的场景中，所有动作的Q值均较低，表明模型对危险的内部评估与物理现实一致。