[论文解读] Reinforcement Learning based Air Combat Maneuver Generation

Muhammed Murat Ozbek, Emre Koyuncu|arXiv (Cornell University)|Jan 14, 2022

Guidance and Control Systems被引用 5

一句话总结

本文提出了一种基于强化学习的方法，利用双延迟深度确定性策略梯度（TD3）与经验回放重加权（HER），实现固定翼无人机在2D模拟环境中的自主空战机动生成。该方法使Dubins车辆模型无人机能够在两个模拟环境中最优地导航，展示了在复杂空战场景中更高的样本效率和更强的鲁棒性。

ABSTRACT

The advent of artificial intelligence technology paved the way of many researches to be made within air combat sector. Academicians and many other researchers did a research on a prominent research direction called autonomous maneuver decision of UAV. Elaborative researches produced some outcomes, but decisions that include Reinforcement Learning(RL) came out to be more efficient. There have been many researches and experiments done to make an agent reach its target in an optimal way, most prominent are Genetic Algorithm(GA) , A star, RRT and other various optimization techniques have been used. But Reinforcement Learning is the well known one for its success. In DARPHA Alpha Dogfight Trials, reinforcement learning prevailed against a real veteran F16 human pilot who was trained by Boeing. This successor model was developed by Heron Systems. After this accomplishment, reinforcement learning bring tremendous attention on itself. In this research we aimed our UAV which has a dubin vehicle dynamic property to move to the target in two dimensional space in an optimal path using Twin Delayed Deep Deterministic Policy Gradients (TD3) and used in experience replay Hindsight Experience Replay(HER).We did tests on two different environments and used simulations.

研究动机与目标

• 开发一种基于深度强化学习的固定翼无人机自主空战机动系统。
• 提升在动态、对抗性2D空战环境中的样本效率与策略鲁棒性。
• 利用TD3与HER实现从稀疏奖励中学习，并达成最优路径规划。
• 在两个不同的仿真环境中验证该方法的泛化能力与性能表现。
• 推动人工智能驱动的空中格斗场景自主决策能力的发展。

提出的方法

• 无人机建模为Dubins车辆，其运动受非完整约束，具有固定转弯半径。
• 策略网络采用双延迟深度确定性策略梯度（TD3）进行训练，该算法适用于连续控制任务。
• 集成经验回放重加权（HER），通过将失败轨迹重新标注为可达成的目标，提升样本效率。
• 环境在2D空间中进行仿真，包含对抗性动力学，包括目标与潜在障碍物。
• 经验回放缓冲区存储来自各次episode的转移数据，支持稳定训练与离策略学习。
• 奖励函数设计用于鼓励靠近目标，同时惩罚碰撞与过长路径长度。

实验结果

研究问题

• RQ1 TD3结合HER是否能够在2D无人机环境中实现有效且高效的最优空战机动学习？
• RQ2 HER的集成在稀疏奖励的空战场景中如何提升样本效率？
• RQ3 所提出方法在不同2D空战环境配置下的泛化能力达到何种程度？
• RQ4 Dubins车辆模型对所学机动的可行性与性能有何影响？
• RQ5 奖励函数设计对收敛速度与策略质量有何影响？

主要发现

• TD3-HER方法在两个仿真环境中均于50,000次训练步内实现稳定训练并成功收敛。
• HER显著提升了样本效率，使智能体即使在稀疏密集奖励条件下也能学习到有效机动。
• 无人机在复杂2D环境中成功导航至目标，同时避开障碍物并保持路径最优性。
• 策略对环境变化表现出强鲁棒性，包括不同初始位置与目标位置。
• 采用Dubins车辆模型确保了机动的物理可行性，与真实无人机动力学一致。
• 在模拟空战任务中，该方法在收敛速度与最终策略性能方面均优于基线方法。