[论文解读] Optimizing Collision Avoidance in Dense Airspace using Deep Reinforcement Learning

Sheng Li, Maxim Egorov+1 more|arXiv (Cornell University)|Dec 20, 2019

Autonomous Vehicle Technology and Safety参考文献 30被引用 34

一句话总结

该论文开发并分析用于密集空域的自主碰撞规避，通过深度强化学习纠正现有方法，在保持安全的前提下实现更高效率。

ABSTRACT

New methodologies will be needed to ensure the airspace remains safe and efficient as traffic densities rise to accommodate new unmanned operations. This paper explores how unmanned free-flight traffic may operate in dense airspace. We develop and analyze autonomous collision avoidance systems for aircraft operating in dense airspace where traditional collision avoidance systems fail. We propose a metric for quantifying the decision burden on a collision avoidance system as well as a metric for measuring the impact of the collision avoidance system on airspace. We use deep reinforcement learning to compute corrections for an existing collision avoidance approach to account for dense airspace. The results show that a corrected collision avoidance system can operate more efficiently than traditional methods in dense airspace while maintaining high levels of safety.

研究动机与目标

• 随着无人操作导致的空域交通密度增加，推动需要先进的碰撞规避系统。
• 开发能够在传统方法难以胜任的密集空域中运行的自主碰撞规避系统。
• 引入用于量化碰撞规避系统的决策负担以及对空域影响的度量。
• 应用深度强化学习来计算对现有密集空域碰撞规避方法的修正。
• 证明修正后的系统在保持高安全标准的同时能够更高效地运行。

提出的方法

• 使用深度强化学习学习对现有碰撞规避方法的修正。
• 引入用于碰撞规避系统决策负担及其对空域影响的度量。
• 在密集空域场景中评估修正后的系统，并与传统的碰撞规避方法进行比较。
• 在高交通密度下从效率与安全性方面分析性能。

实验结果

研究问题

• RQ1 深度强化学习是否能够在不影响安全性的前提下提高密集空域中碰撞规避的效率？
• RQ2 有哪些有效的度量指标可以量化碰撞规避系统的决策负担及其对空域的影响？
• RQ3 在密集交通条件下，RL 修正的碰撞规避方法与传统方法相比如何？
• RQ4 是否可行利用深度学习推导对现有碰撞规避策略的修正？

主要发现

• 基于深度强化学习的修正后的碰撞规避系统在密集空域中可以比传统方法更高效地运行。
• 基于 RL 的修正同时在提高效率的同时维持较高的安全水平。
• 所提出的度量有效捕捉了决策负担与空域影响，支持对 Dense Airspace 碰撞规避性能的评估。