[论文解读] Resolving Congestions in the Air Traffic Management Domain via Multiagent Reinforcement Learning Methods

Theocharis Kravaris, Christos Spatharis+6 more|arXiv (Cornell University)|Dec 14, 2019

Air Traffic Management and Optimization参考文献 29被引用 6

一句话总结

本文提出了一种多智能体强化学习（MARL）框架，通过在空域交通管理的预战术阶段优化地面延误，以解决空中交通拥堵问题。采用一种新颖的奖励函数，综合考虑热点区域参与度与延误成本，该协作式MARL方法在西班牙真实案例中，相较于当前的人工方法，显著减少了总体延误，同时公平分配了延误，实现了更优的性能。

ABSTRACT

In this article, we report on the efficiency and effectiveness of multiagent reinforcement learning methods (MARL) for the computation of flight delays to resolve congestion problems in the Air Traffic Management (ATM) domain. Specifically, we aim to resolve cases where demand of airspace use exceeds capacity (demand-capacity problems), via imposing ground delays to flights at the pre-tactical stage of operations (i.e. few days to few hours before operation). Casting this into the multiagent domain, agents, representing flights, need to decide on own delays w.r.t. own preferences, having no information about others' payoffs, preferences and constraints, while they plan to execute their trajectories jointly with others, adhering to operational constraints. Specifically, we formalize the problem as a multiagent Markov Decision Process (MA-MDP) and we show that it can be considered as a Markov game in which interacting agents need to reach an equilibrium: What makes the problem more interesting is the dynamic setting in which agents operate, which is also due to the unforeseen, emergent effects of their decisions in the whole system. We propose collaborative multiagent reinforcement learning methods to resolve demand-capacity imbalances: Extensive experimental study on real-world cases, shows the potential of the proposed approaches in resolving problems, while advanced visualizations provide detailed views towards understanding the quality of solutions provided.

研究动机与目标

• 应对因需求增长超过空域容量而导致的空中交通拥堵日益加剧的挑战，特别是在飞行前数小时至数天的预战术阶段。
• 在确保飞行间公平分配并高效利用空域资源的前提下，最小化总地面延误。
• 开发一种协调机制，使飞行（作为自主智能体）在不了解其他飞行偏好或收益的情况下，自主决定延误。
• 将需求-容量失衡问题形式化为多智能体马尔可夫决策过程（MA-MDP）与马尔可夫博弈，以实现延误决策的均衡。
• 在西班牙的真实空域交通管理数据上评估所提出的MARL方法，重点关注效率与解的质量。

提出的方法

• 将需求-容量失衡问题形式化为多智能体马尔可夫决策过程（MA-MDP），其中每架飞行作为独立智能体进行延误决策。
• 设计一种新颖且通用的奖励函数，根据智能体对热点区域的贡献度以及延迟偏离的战略成本对智能体进行惩罚。
• 实现两种协作式MARL方法：Ed-MARL（基于期望延迟最小化）与IRL-MARL（使用逆强化学习进行策略学习）。
• 利用真实飞行数据、扇区配置及运营记录中的延误成本参考值，对西班牙多个日期的24小时时段进行评估。
• 应用先进的可视化技术（空间、时间及时空地图）分析延误分布与解的质量。
• 与当前人工方法（NM）在延误分布、延迟航班数量及热点区域解决情况方面进行对比。

实验结果

研究问题

• RQ1 MARL方法是否能在无集中协调的情况下，有效解决预战术阶段空域交通管理中的需求-容量失衡问题？
• RQ2 与当前人工方法相比，基于MARL的延误决策在公平性、总延误与热点区域解决方面表现如何？
• RQ3 MARL解决方案在多大程度上减少了大延误航班数量，同时保持系统整体效率？
• RQ4 去中心化延误决策所产生的涌现性系统效应如何影响整体拥堵与延误分布？
• RQ5 对时空延误模式的可视化分析是否有助于解释并改进MARL解决方案的合理性？

主要发现

• 与当前人工方法（NM）相比，Ed-MARL与IRL-MARL方法显著减少了大延误航班数量，尤其在一天的前半段表现更优。
• 两种MARL方法均减少了所有延迟区间的受控航班数量，其中Ed-MARL在无任何延迟的航班数量上表现更优。
• 在最复杂的案例（7月2日）中，MARL方法减少了西班牙东部与南部（如巴塞罗那、巴伦西亚、塞维利亚）的延误，但因该区域容量过剩，西北部延误有所增加。
• 该方法通过仅在必要区域增加延误，有效解决了热点区域问题——特别是在高需求时段与容量过剩的扇区，展现出精准且自适应的响应能力。
• 可视化结果表明，MARL解决方案提升了可预测性与公平性，尤其在动态高需求时段，通过避免对部分航班施加不必要的延迟，有效管理了拥堵。
• 所提出的奖励函数成功平衡了个体延误成本与系统级热点区域解决需求，实现了无需完全信息交换的高效协调。