[论文解读] Multi-UAV Adaptive Path Planning Using Deep Reinforcement Learning

Jonas Westheider, Julius Rückin+1 more|arXiv (Cornell University)|Mar 2, 2023

Robotic Path Planning Algorithms被引用 5

一句话总结

本文提出了一种基于深度强化学习的多架无人飞行器（multi-UAV）路径规划框架，采用反事实多智能体策略梯度方法，解决三维地形监测中的协作信息路径规划问题。通过引入新型的三维感知网络特征并显式处理信用分配问题，该方法在无需微调的情况下，相较于非学习基线方法，实现了更快、更高效的感兴趣区域映射，且在不同团队规模和通信约束下展现出强大的泛化能力。

ABSTRACT

Efficient aerial data collection is important in many remote sensing applications. In large-scale monitoring scenarios, deploying a team of unmanned aerial vehicles (UAVs) offers improved spatial coverage and robustness against individual failures. However, a key challenge is cooperative path planning for the UAVs to efficiently achieve a joint mission goal. We propose a novel multi-agent informative path planning approach based on deep reinforcement learning for adaptive terrain monitoring scenarios using UAV teams. We introduce new network feature representations to effectively learn path planning in a 3D workspace. By leveraging a counterfactual baseline, our approach explicitly addresses credit assignment to learn cooperative behaviour. Our experimental evaluation shows improved planning performance, i.e. maps regions of interest more quickly, with respect to non-counterfactual variants. Results on synthetic and real-world data show that our approach has superior performance compared to state-of-the-art non-learning-based methods, while being transferable to varying team sizes and communication constraints.

研究动机与目标

• 解决大规模、非均匀地形监测场景中，多架无人飞行器团队的协作式自适应路径规划挑战。
• 克服非自适应、静态路径规划方法的局限性，后者假设目标均匀分布，无法优先处理感兴趣区域。
• 通过基于实时传感器数据和动态环境感知的实时、去中心化决策，提升规划效率。
• 显式解决多智能体强化学习中的信用分配问题，以增强协作行为和联合任务目标的性能表现。
• 在无需微调的情况下，验证训练策略在不同团队规模和通信范围下的泛化能力，确保其在真实部署中的广泛适用性。

提出的方法

• 采用反事实多智能体策略梯度（COMA）方法，显式处理信用分配问题，实现无人机之间协作行为的稳定且高效学习。
• 设计新型三维感知神经网络输入表征，将地形状态、无人机位置和传感器测量值编码为三维工作空间中的信息，以提升空间推理能力。
• 采用去中心化、机载决策架构，每个无人机基于本地观测和与邻近无人机的有限通信选择动作。
• 在使用合成数据的仿真环境中，通过基于地图熵减少和F1分数提升的稀疏奖励，使用深度强化学习训练策略网络。
• 应用动作掩码技术，以强制执行最小间距和任务持续时间等约束，确保无人机轨迹的可行性和安全性。
• 利用反事实基线估计若某智能体采取了不同动作时的期望回报，从而实现精确的信用分配和稳定的策略更新。

Figure 1 : Our RL-based approach applied in a multi- UAV surface temperature mapping scenario. The UAVs take images of the terrain (white transparent) and communicate them (grey dashed arrows). Based on locally available information, each UAV decides from a set of actions (orange arrows) where to ta

实验结果

研究问题

• RQ1 与非学习基线方法相比，基于反事实信用分配的深度强化学习是否能提升多架无人飞行器在地形监测中的协作路径规划性能？
• RQ2 所提出的三维感知网络特征表征在复杂三维环境中，是否能有效支持高效且精确的路径规划？
• RQ3 在不进行微调的情况下，训练好的策略在不同团队规模和通信范围下，其泛化能力达到何种程度？
• RQ4 使用反事实基线是否能带来可测量的协作行为改进和整体任务效率提升？
• RQ5 在合成数据上训练的策略是否能成功迁移到真实世界中的无人机数据采集任务中，例如热成像表面测绘？

主要发现

• 在4架无人机全通信场景下，所提方法的平均F1分数达到0.7524 ± 0.0465，优于非学习基线方法（IG基线：0.7606 ± 0.0306）和覆盖基线方法。
• 在真实世界温度映射场景中，强化学习方法在降低地图熵方面优于IG、随机和覆盖方法，表明其在真实世界任务中具有优异的迁移能力，尽管训练数据为合成数据。
• 该方法在不进行微调的情况下，成功泛化至不同团队规模（2、4、8架无人机）和通信半径（0米、25米、无限制），在所有设置中均保持对基线方法的一致性能优势。
• 反事实信用分配机制显著提升了协作行为，表现为熵减少速度更快，F1分数更高，相较于非反事实变体表现更优。
• 在4架无人机全通信设置下，该方法的平均AUSE（稀疏化误差曲线下方面积）达到0.7428 ± 0.0276，表明其在稀疏数据采集过程中能有效最小化信息损失。
• 该方法显著优于非自适应策略（如草坪式覆盖和随机探索），尤其在任务早期阶段，归因于其动态聚焦于高信息量区域的能力。

Figure 2 : Inter- UAV communication. The UAVs (filled circles) exchange their current measurements (square footprints) with each other when closer than a limited communication range (black dotted circle). Green and dotted red lines indicate in-range and out-of-range communications, respectively. The