[论文解读] Reinforcement Learning-Based Coverage Path Planning with Implicit Cellular Decomposition

Javad Heydari, Olimpiya Saha+1 more|arXiv (Cornell University)|Oct 18, 2021

Robotic Path Planning Algorithms参考文献 52被引用 7

一句话总结

本文将未知环境中的覆盖路径规划问题建模为随机最优停止问题，并利用隐式细胞分解的深度强化学习（DRL）方法，实现高效、低重叠的覆盖。所提出的混合强化学习方法在覆盖效率和重叠减少方面优于最先进的方法（如BA*），收敛速度提升2倍，且在多种环境中均表现出鲁棒性。

ABSTRACT

Coverage path planning in a generic known environment is shown to be NP-hard. When the environment is unknown, it becomes more challenging as the robot is required to rely on its online map information built during coverage for planning its path. A significant research effort focuses on designing heuristic or approximate algorithms that achieve reasonable performance. Such algorithms have sub-optimal performance in terms of covering the area or the cost of coverage, e.g., coverage time or energy consumption. In this paper, we provide a systematic analysis of the coverage problem and formulate it as an optimal stopping time problem, where the trade-off between coverage performance and its cost is explicitly accounted for. Next, we demonstrate that reinforcement learning (RL) techniques can be leveraged to solve the problem computationally. To this end, we provide some technical and practical considerations to facilitate the application of the RL algorithms and improve the efficiency of the solutions. Finally, through experiments in grid world environments and Gazebo simulator, we show that reinforcement learning-based algorithms efficiently cover realistic unknown indoor environments, and outperform the current state of the art.

研究动机与目标

• 解决在缺乏完整几何信息的未知室内环境中进行覆盖路径规划的挑战。
• 在实时机器人应用中，减少路径重叠和能耗，同时最大化覆盖面积。
• 开发一种能够适应重复环境、并学习传感器噪声与运动不确定性的强化学习框架。
• 通过奖励塑造、状态表示设计和混合探索策略，提升样本效率与泛化能力。

提出的方法

• 将覆盖路径规划建模为随机最优停止问题，以平衡覆盖性能与成本。
• 设计一种状态表示方法，以紧凑且内存高效的方式编码机器人历史传感器观测与地图更新信息。
• 基于覆盖进度与重叠惩罚构建奖励函数，并通过奖励塑造加速学习过程。
• 采用具有优先经验回放的深度Q网络（DQN+PER）和近端策略优化（PPO）以实现稳定训练。
• 提出一种混合强化学习方法，结合固定Z字形运动策略与学习到的DRL智能体，以减小动作空间并提升收敛速度。
• 通过超参数敏感性分析识别影响性能的关键参数，如批量大小、学习率和记忆大小。

实验结果

研究问题

• RQ1 强化学习能否在存在部分可观测性与传感器噪声的未知环境中有效应用于覆盖路径规划？
• RQ2 所提出的状态表示与奖励函数设计对学习效率与覆盖性能有何影响？
• RQ3 将启发式运动策略（Z字形）与学习到的强化学习策略结合，对收敛速度与泛化能力有何影响？
• RQ4 与完全基于学习或纯启发式的方法相比，该强化学习智能体在未见过环境中的泛化能力如何？
• RQ5 哪些超参数对基于DRL的覆盖策略性能与鲁棒性影响最大？

主要发现

• 混合强化学习智能体在三个模拟环境中实现了90.59%的平均覆盖率，与BA*性能相当，但重叠率降低超过50%。
• 混合方法将平均重叠率降低至14.38–21.48%，显著优于标准DQN+PER的32.69–33.25%和BA*的80.61–91.70%。
• 由于受限Z字形运动约束了策略搜索空间，混合RL智能体的收敛速度比标准DQN+PER快两个数量级。
• 该方法在广泛超参数范围内表现出鲁棒性，尤其在批量大小、PPO训练周期数和PER参数方面表现突出。
• 奖励塑造与折扣因子的使用显著提升了训练稳定性并降低了梯度方差。
• 状态表示有效捕捉了历史地图信息，使智能体能够在不重建完整地图的情况下做出明智决策。