[论文解读] Towards Deployment of Deep-Reinforcement-Learning-Based Obstacle Avoidance into Conventional Autonomous Navigation Systems.

Linh Kästner, Teham Buiyan+4 more|arXiv (Cornell University)|Apr 8, 2021

Robotic Path Planning Algorithms参考文献 20被引用 4

一句话总结

本文提出将基于深度强化学习（DRL）的局部规划器集成到传统导航架构中，以实现在移动机器人上的安全、高效且鲁棒的长距离导航。通过结合DRL的适应性与经典规划框架，该系统克服了DRL在长期记忆和局部极小值方面的局限性，在安全性、效率和鲁棒性方面均优于传统规划器，评估结果表现优异。

ABSTRACT

Recently, mobile robots have become important tools in various industries, especially in logistics. Deep reinforcement learning emerged as an alternative planning method to replace overly conservative approaches and promises more efficient and flexible navigation. However, deep reinforcement learning approaches are not suitable for long-range navigation due to their proneness to local minima and lack of long term memory, which hinders its widespread integration into industrial applications of mobile robotics. In this paper, we propose a navigation system incorporating deep-reinforcement-learning-based local planners into conventional navigation stacks for long-range navigation. Therefore, a framework for training and testing the deep reinforcement learning algorithms along with classic approaches is presented. We evaluated our deep-reinforcement-learning-enhanced navigation system against various conventional planners and found that our system outperforms them in terms of safety, efficiency and robustness.

研究动机与目标

• 解决深度强化学习（DRL）在长距离导航中因局部极小值和缺乏长期记忆而导致的局限性。
• 通过与传统导航系统集成，实现DRL驱动的障碍物避让在工业移动机器人中的实际部署。
• 开发一个统一的框架，用于训练和测试基于DRL的规划器与经典规划算法。
• 与传统方法相比，提升导航在安全性、效率和鲁棒性方面的表现。

提出的方法

• 设计一种混合导航架构，结合传统全局规划器与基于DRL的局部规划器。
• 在仿真环境中使用强化学习训练DRL智能体，以学习障碍物避让策略。
• 将训练好的DRL策略集成到标准的ROS导航堆栈中，确保与现有系统的兼容性。
• 采用课程学习和奖励塑造方法以稳定训练过程并提高样本效率。
• 实现一个感知管道，为DRL智能体提供一致的状态观测（如LiDAR扫描数据）。
• 使用标准基准对DRL增强系统进行评估，并与经典规划器（如DWA和TEB）进行直接对比。

实验结果

研究问题

• RQ1 基于DRL的局部规划器能否有效集成到传统导航架构中，以实现长距离导航？
• RQ2 在安全性、效率和鲁棒性方面，DRL增强系统与经典规划器相比表现如何？
• RQ3 DRL组件在多大程度上减少了对保守的、基于启发式的行为在障碍物避让中的依赖？
• RQ4 该集成是否保持了系统稳定性，并与现有的工业机器人软件堆栈兼容？

主要发现

• DRL增强的导航系统在导航成功率和路径效率方面优于传统规划器。
• 该系统在动态和复杂环境中表现出更强的鲁棒性，而传统规划器则可能失效或表现出过度保守的行为。
• 将DRL集成到传统架构中，成功实现了有效的长距离导航，避免了DRL常见的局部极小值和记忆限制问题。
• 该框架成功保持了与标准ROS导航堆栈的兼容性，支持在工业环境中实际部署。