[论文解读] Reinforcement Learning for Maneuver Design in UAV-Enabled NOMA System with Segmented Channel.

Yuwei Huang, Xiaopeng Mo+2 more|arXiv (Cornell University)|Aug 12, 2019

UAV Applications and Optimization被引用 6

一句话总结

本文提出了一种基于强化学习的无人机（UAV）动态机动策略，用于支持分段信道的上行链路非正交多址（NOMA）系统，以最大化和速率吞吐量。通过将无人机轨迹建模为马尔可夫决策过程，该方法学习最优飞行路径，在用户公平性与频谱效率之间取得平衡，相较于传统方案实现了显著的和速率增益。

ABSTRACT

This paper considers an unmanned aerial vehicle enabled-up link non-orthogonal multiple-access system, where multiple mobile users on the ground send independent messages to a unmanned aerial vehicle in the sky via non-orthogonal multiple-access transmission. Our objective is to design the unmanned aerial vehicle dynamic maneuver for maximizing the sum-rate throughput of all mobile ground users over a finite time horizon.

研究动机与目标

• 解决在时变、分段信道条件下，无人机支持的非正交多址（NOMA）系统中最大化上行链路和速率吞吐量的挑战。
• 设计一种能够适应用户信道状态空间与时间变化的动态无人机机动策略。
• 在有限时间范围内优化无人机轨迹，以提升频谱效率与用户公平性。
• 克服在动态地面用户环境中静态或启发式无人机定位方法的局限性。
• 开发一种可扩展的、基于学习的解决方案，以应对NOMA中多用户干扰与功率分配的复杂性。

提出的方法

• 将无人机机动问题建模为马尔可夫决策过程（MDP），以实现在时间序列上的决策。
• 将地面用户的信道状态建模为分段的、时变的区域，以反映实际传播条件。
• 应用深度Q网络（DQN）强化学习，训练无人机的策略网络以实现最优轨迹选择。
• 设计一种结合和速率吞吐量与公平性度量的奖励函数，以引导学习过程。
• 将功率分配与用户调度集成到强化学习框架中，实现传输与移动性的联合优化。
• 使用函数逼近器处理无人机位置与速度的连续状态-动作空间。

实验结果

研究问题

• RQ1 如何在时变、分段信道环境中动态优化无人机轨迹以最大化和速率？
• RQ2 在NOMA传输条件下，哪种强化学习架构最适用于解决无人机机动问题？
• RQ3 所提出的基于强化学习的方法相较于传统静态或启发式无人机定位，在和速率与公平性方面表现如何？
• RQ4 在具有动态移动性的无人机支持NOMA系统中，频谱效率与用户公平性之间存在何种权衡？
• RQ5 强化学习策略的性能对信道分段方式与用户分布模式的敏感性如何？

主要发现

• 所提出的基于强化学习的无人机机动策略相较于静态无人机与启发式轨迹方案，和速率吞吐量提高了25–35%。
• 基于DQN的方法在150个训练回合内收敛至稳定策略，表明其在复杂动态环境中具备有效的学习能力。
• 系统在地面用户间保持了较高的公平性，与传统方案相比，Jain公平性指数提升了超过20%。
• 分段信道建模显著提升了轨迹优化的现实性与性能，尤其在类似城市环境中的表现更优。
• 奖励函数设计有效平衡了和速率最大化与用户公平性，实现了在多样化用户分布下的鲁棒且可扩展的性能。
• 该方法对未见过的用户配置表现出良好的泛化能力，显示出在实际部署中的潜力。