[论文解读] Reinforcement Learning in Multiple-UAV Networks: Deployment and Movement Design

Xiao Liu, Yuanwei Liu+1 more|arXiv (Cornell University)|Apr 10, 2019

UAV Applications and Optimization参考文献 47被引用 10

一句话总结

本文提出了一种基于Q-learning的框架，用于联合优化多个无人机（UAV）的3D部署与动态移动，以最大化用户体验质量（QoE），其衡量指标为平均意见得分（MOS）。该方法采用三步策略：使用GAK-means进行用户小区划分，基于Q-learning实现离线3D位置优化，以及基于Q-learning实现漫游场景下的动态移动，实现了快速收敛，并在复杂度更低的情况下优于K-means和IGK-means。

ABSTRACT

A novel framework is proposed for quality of experience (QoE)-driven deployment and dynamic movement of multiple unmanned aerial vehicles (UAVs). The problem of joint non-convex three-dimensional (3D) deployment and dynamic movement of the UAVs is formulated for maximizing the sum mean opinion score (MOS) of ground users, which is proved to be NP-hard. In the aim of solving this pertinent problem, a three-step approach is proposed for attaining 3D deployment and dynamic movement of multiple UAVs. Firstly, genetic algorithm based K-means (GAK-means) algorithm is utilized for obtaining the cell partition of the users. Secondly, Q-learning based deployment algorithm is proposed, in which each UAV acts as an agent, making their own decision for attaining 3D position by learning from trial and mistake. In contrast to conventional genetic algorithm based learning algorithms, the proposed algorithm is capable of training the direction selection strategy offline. Thirdly, Q-learning based movement algorithm is proposed in the scenario that the users are roaming. The proposed algorithm is capable of converging to an optimal state. Numerical results reveal that the proposed algorithms show a fast convergence rate after a small number of iterations. Additionally, the proposed Q-learning based deployment algorithm outperforms K-means algorithms and Iterative-GAKmean (IGK) algorithms with a low complexity.

研究动机与目标

• 通过最优的3D部署与动态移动，解决多无人机网络中最大化用户QoE的挑战。
• 将联合3D部署与移动问题建模为非凸优化任务，以最大化总MOS。
• 通过提出一种可扩展的、基于学习的解决方案，以较低的计算开销克服该问题的NP难性质。
• 通过基于Q-learning的动态移动算法，实现实时适应用户移动性。
• 设计一种在多无人机网络中平衡性能、收敛速度与实现复杂度的框架。

提出的方法

• 采用基于遗传算法的K-means（GAK-means）算法，将地面用户划分为簇，以实现初始小区分配。
• 开发一种基于Q-learning的部署算法，其中每个UAV作为独立智能体，通过试错法学习最优3D位置，并在离线阶段训练方向选择策略。
• 设计一种基于Q-learning的移动算法，用于动态场景，使UAV能够实时调整位置以适应用户移动。
• 采用混合视 Line-of-Sight（LoS）/非视 Line-of-Sight（NLoS）模型对UAV-地面用户信道进行建模，考虑路径损耗与衰落效应，并引入频率与距离相关的路径损耗。
• 基于距离、发射功率与信道条件，使用对数速率函数公式化总速率与用户可实现速率。
• 通过将其约化为平面K-means问题，证明该优化问题的NP难性质，从而确立其计算复杂度。

实验结果

研究问题

• RQ1 如何在三维空间中联合部署多个UAV，以最大化地面用户的总体QoE？
• RQ2 当用户移动时，UAV应采用何种最优策略动态调整其位置？
• RQ3 基于Q-learning的方法是否能在收敛速度与QoE增益方面优于传统聚类与优化方法？
• RQ4 所提出的框架如何处理联合3D部署与移动问题的非凸性与计算复杂度？
• RQ5 与K-means和IGK-means相比，所提出的基于Q-learning的部署与移动算法在性能上提升了多少？

主要发现

• 所提出的基于Q-learning的部署算法在计算复杂度显著更低的情况下，实现了比K-means和IGK-means更高的总MOS。
• 基于Q-learning的移动算法即使在用户移动场景下也能收敛至最优状态，确保持续的QoE提升。
• 框架在仅经过少量训练迭代后即表现出快速收敛，表明其具有强大的学习效率。
• 通过约化为平面K-means问题，正式证明了联合3D部署与移动问题的NP难性质。
• 数值结果证实，所提出方法在不同用户分布与移动模式下，仍能保持高 spectral efficiency（频谱效率）与鲁棒性。
• 将GAK-means用于初始聚类，显著提升了Q-learning智能体在部署优化过程中的收敛性与稳定性。