[论文解读] Path Design for Cellular-Connected UAV with Reinforcement Learning

Yong Zeng, Xiaoli Xu|arXiv (Cornell University)|May 9, 2019

UAV Applications and Optimization参考文献 12被引用 6

一句话总结

本文提出一种基于强化学习（RL）的蜂窝网络连接无人机（UAV）路径设计方法，旨在最小化任务时间的同时避开蜂窝覆盖盲区。通过使用带有瓦片编码的时序差分学习进行函数逼近，该方法直接从原始信号强度数据中学习，在复杂城市环境中仅需极少建模假设，即可实现接近最优的性能。

ABSTRACT

This paper studies the path design problem for cellular-connected unmanned aerial vehicle (UAV), which aims to minimize its mission completion time while maintaining good connectivity with the cellular network. We first argue that the conventional path design approach via formulating and solving optimization problems faces several practical challenges, and then propose a new reinforcement learning-based UAV path design algorithm by applying \emph{temporal-difference} method to directly learn the \emph{state-value function} of the corresponding Markov Decision Process. The proposed algorithm is further extended by using linear function approximation with tile coding to deal with large state space. The proposed algorithms only require the raw measured or simulation-generated signal strength as the input and are suitable for both online and offline implementations. Numerical results show that the proposed path designs can successfully avoid the coverage holes of cellular networks even in the complex urban environment.

研究动机与目标

• 为解决传统基于优化的无人机路径设计方法的局限性，后者依赖精确的信道模型和全局知识。
• 使无人机能够自主学习通信感知的飞行轨迹，而无需依赖详细的传播或天线模型。
• 开发一种可扩展的基于强化学习的方法，仅使用原始信号测量数据，并能处理大规模状态空间。
• 支持在真实城市蜂窝网络中对无人机路径规划进行在线和离线部署。
• 在非均匀蜂窝覆盖环境中提升连接性并减少任务完成时间。

提出的方法

• 将无人机路径设计建模为马尔可夫决策过程（MDP），以最小化任务时间与断连时长的加权和。
• 应用时序差分（TD）学习方法，直接从经验中学习MDP的状态值函数。
• 使用带有瓦片编码的线性函数逼近，以处理由高分辨率空间网格带来的大规模状态空间。
• 仅以原始测量或仿真生成的信号强度作为输入，无需显式信道模型。
• 支持使用合成数据进行离线预训练，以及使用真实飞行数据进行在线微调。
• 将无人机的位置和信号强度作为状态输入，动作定义为水平面上的离散移动步长。

实验结果

研究问题

• RQ1 强化学习能否在不依赖精确信道模型的情况下，有效学习避开蜂窝覆盖盲区的无人机轨迹？
• RQ2 与需要完整全局覆盖知识的值迭代方法相比，使用瓦片编码的TD学习在路径质量与收敛性方面表现如何？
• RQ3 在复杂城市环境中，仅依靠原始信号强度数据在多大程度上可实现有效的路径规划？
• RQ4 离线预训练与在线微调的结合在多大程度上提升了基于强化学习的无人机路径设计的样本效率？
• RQ5 在基于强化学习的无人机导航中，使用函数逼近时，路径最优性与保守性之间的权衡如何？

主要发现

• 所提出的使用瓦片编码的TD学习方法，其路径质量非常接近需要完整全局覆盖知识的最优值迭代解。
• 两种TD学习方法均收敛至接近最优解的累积奖励，显著优于直接飞行基准方案。
• 由于函数逼近在发现狭窄连接桥时的挑战，使用瓦片编码的TD学习生成的路径更为保守，飞行距离更长。
• 即使在信号数据不完美或为仿真生成的情况下，该算法仍能成功避免城市环境中的覆盖盲区，表现出强鲁棒性。
• 使用仿真生成数据进行预训练可实现更快收敛，并减少对昂贵真实世界经验的依赖。
• 该方法需要数千个训练周期才能收敛，凸显了强化学习的样本低效性，但可通过仿真预训练加以缓解。