[论文解读] Trajectory Design for UAV-Based Internet-of-Things Data Collection: A Deep Reinforcement Learning Approach

Yang Wang, Zhen Gao+6 more|arXiv (Cornell University)|Jul 23, 2021

UAV Applications and Optimization参考文献 34被引用 8

一句话总结

该论文提出了一种基于深度强化学习的轨迹设计算法TD3-TDCTM，用于在存在非完美信道状态信息（CSI）的三维城市环境中，实现无人机（UAV）辅助的物联网（IoT）数据收集。通过利用双延迟深度确定性策略梯度（TD3）算法，并引入一种融合的信息素状态表示方法，该方法在满足飞行与吞吐量约束的前提下，最小化了数据收集完成时间，相较于传统基于优化的方法显著提升了性能。

ABSTRACT

In this paper, we investigate an unmanned aerial vehicle (UAV)-assisted Internet-of-Things (IoT) system in a sophisticated three-dimensional (3D) environment, where the UAV's trajectory is optimized to efficiently collect data from multiple IoT ground nodes. Unlike existing approaches focusing only on a simplified two-dimensional scenario and the availability of perfect channel state information (CSI), this paper considers a practical 3D urban environment with imperfect CSI, where the UAV's trajectory is designed to minimize data collection completion time subject to practical throughput and flight movement constraints. Specifically, inspired from the state-of-the-art deep reinforcement learning approaches, we leverage the twin-delayed deep deterministic policy gradient (TD3) to design the UAV's trajectory and present a TD3-based trajectory design for completion time minimization (TD3-TDCTM) algorithm. In particular, we set an additional information, i.e., the merged pheromone, to represent the state information of UAV and environment as a reference of reward which facilitates the algorithm design. By taking the service statuses of IoT nodes, the UAV's position, and the merged pheromone as input, the proposed algorithm can continuously and adaptively learn how to adjust the UAV's movement strategy. By interacting with the external environment in the corresponding Markov decision process, the proposed algorithm can achieve a near-optimal navigation strategy. Our simulation results show the superiority of the proposed TD3-TDCTM algorithm over three conventional non-learning based baseline methods.

研究动机与目标

• 解决在复杂三维城市环境中存在非完美信道状态信息（CSI）的无人机辅助物联网系统中高效数据收集的挑战。
• 在遵守飞行运动与吞吐量约束的前提下，最小化基于无人机的数据收集任务完成时间。
• 设计一种基于学习的轨迹优化框架，以适应动态的物联网节点服务状态和环境条件。
• 通过在非平稳环境中实现无人机导航策略的连续自适应学习，克服传统优化方法的局限性。

提出的方法

• 提出一种新型状态表示方法，结合无人机位置、物联网节点服务状态以及一种合成的融合信息素信号，以编码环境与历史信息。
• 采用基于TD3的强化学习算法（TD3-TDCTM），通过与马尔可夫决策过程的交互学习最优无人机轨迹策略。
• 使用双 critic 架构与目标网络以稳定训练过程，并提升在连续动作空间中的策略学习稳定性。
• 引入可配置大小的经验回放缓冲区，以提高样本效率并降低训练转移之间的相关性。
• 定义密集型、稀疏型及形状化奖励函数，引导无人机最小化完成时间，同时保持视 Line-of-Sight（LoS）链路的可用性。
• 在模拟的三维城市环境中训练智能体，采用真实路径损耗与阴影衰落模型，在非完美CSI条件下进行仿真。

实验结果

研究问题

• RQ1 深度强化学习智能体如何在存在非完美CSI的三维城市环境中，学习高效的无人机数据收集轨迹？
• RQ2 在物联网节点服务状态动态变化的条件下，哪种状态表示方法最有效，能帮助无人机自适应地学习导航策略？
• RQ3 所提出的TD3-TDCTM算法在任务完成时间与鲁棒性方面，相较于传统基于优化的方法，性能提升程度如何？
• RQ4 折扣因子、网络宽度与经验回放缓冲区大小等超参数如何影响学习算法的性能与收敛性？
• RQ5 所学习的轨迹是否能保持较高的视 Line-of-Sight（LoS）链路概率，以最大化数据收集效率？

主要发现

• 在最优超参数设置下（400个神经元，缓冲区大小 $1 imes 10^5$），所提出的TD3-TDCTM算法实现了平均70.52秒的任务完成时间，优于基线方法。
• 当折扣因子为0.99时，算法在约2000次训练回合后实现稳定收敛，且在不同数量的物联网节点下均表现出一致的性能。
• 整个轨迹过程中，LoS覆盖比始终保持在85%以上，表明有效利用了有利的LoS链路，从而提升了数据收集速率。
• 最优配置（400个神经元，$R = 1 imes 10^5$）相比200个神经元减少1.3%的完成时间，相比600个神经元减少1.4%，表明对网络容量与内存大小具有敏感性。
• 该算法对物联网节点数量变化表现出鲁棒性，在10至50个节点的仿真中均实现稳定收敛与性能表现。
• 当折扣因子为0.8时，任务无法完成；而提升至0.99后，可实现稳定学习并接近最优性能，证实了长期奖励考虑的重要性。