[论文解读] Packet Routing with Graph Attention Multi-agent Reinforcement Learning

Xuan Mai, Quanzhi Fu+1 more|arXiv (Cornell University)|Jul 28, 2021

Software-Defined Networks and 5G参考文献 9被引用 4

一句话总结

本文提出深度图注意力网络路由（DGATR），一种多智能体强化学习框架，利用图注意力网络（GAT）使路由器能够基于本地拓扑和流量信息做出智能、去中心化的路由决策。该方法在减少端到端数据包延迟和提高网络负载容量方面优于基线算法，尤其在动态和高负载条件下表现更优。

ABSTRACT

Packet routing is a fundamental problem in communication networks that decides how the packets are directed from their source nodes to their destination nodes through some intermediate nodes. With the increasing complexity of network topology and highly dynamic traffic demand, conventional model-based and rule-based routing schemes show significant limitations, due to the simplified and unrealistic model assumptions, and lack of flexibility and adaption. Adding intelligence to the network control is becoming a trend and the key to achieving high-efficiency network operation. In this paper, we develop a model-free and data-driven routing strategy by leveraging reinforcement learning (RL), where routers interact with the network and learn from the experience to make some good routing configurations for the future. Considering the graph nature of the network topology, we design a multi-agent RL framework in combination with Graph Neural Network (GNN), tailored to the routing problem. Three deployment paradigms, centralized, federated, and cooperated learning, are explored respectively. Simulation results demonstrate that our algorithm outperforms some existing benchmark algorithms in terms of packet transmission delay and affordable load.

研究动机与目标

• 解决传统基于模型和基于规则的路由协议在处理动态、复杂网络拓扑和流量模式时的局限性。
• 开发一种无需依赖简化假设、基于数据驱动的无模型路由策略，利用深度强化学习适应实时网络状态。
• 通过将图神经网络（GNN）和注意力机制整合到多智能体强化学习框架中，利用网络拓扑的图结构以改进路由策略学习。
• 评估并比较三种部署范式——集中式、联邦式和协作式学习——在多智能体路由中的可扩展性、稳定性和性能表现。

提出的方法

• 每个路由器被建模为一个独立智能体，其观察本地网络状态（包括队列长度和拓扑信息），并使用基于值函数的深度强化学习算法选择下一跳动作。
• 在每个智能体中采用图注意力网络（GAT），以聚合和处理来自邻居节点的信息，捕捉网络图中的关系依赖性并提取潜在的结构特征。
• 基于GAT的架构使每个智能体能够基于本地观测和更广泛网络拓扑的上下文信息做出路由决策。
• 该框架使用离策略经验回放进行训练，并通过预训练方式利用由训练良好的Q-路由策略生成的转移数据，以加速收敛。
• 评估了三种学习范式——集中式、联邦式和协作式——其差异在于智能体之间参数和梯度的共享方式，以平衡探索与稳定性。
• 该算法采用受深度Q网络（DQN）启发的基于值函数的深度强化学习方法，使用深度神经网络作为函数逼近器，以处理大规模状态-动作空间。

实验结果

研究问题

• RQ1 基于图注意力机制的多智能体强化学习框架是否能在端到端延迟和负载容量方面优于传统及基于深度学习的路由算法？
• RQ2 通过GAT引入图结构和关系信息，相较于全连接DNN，如何改善路由策略的学习效果？
• RQ3 在动态网络负载下，集中式、联邦式和协作式学习范式在多智能体路由中的性能权衡如何？
• RQ4 使用专家演示进行预训练在复杂路由环境中在多大程度上能加速学习并提升初始策略性能？

主要发现

• DGATR 在端到端延迟方面显著优于Q-路由和混合Q学习算法，尤其在高网络负载下，得益于DNN函数逼近带来的更好探索能力和泛化性能。
• 在6×6网格网络中，经过5,000步预训练后，DGATR在负载1.0时的平均端到端延迟为5.631，优于DQN-路由在相同条件下的6.304。
• 协作式学习范式在负载3.0时表现出最低延迟（8.486 ± 0.02）和最高稳定性，优于集中式和联邦式学习，在平均延迟和方差方面均表现更优。
• DGATR 在延迟急剧上升前能维持更高的网络负载，表现出优于最短路径和Q-路由的优越适应性，并接近全局集中式路由的性能。
• 采用基于GAT的架构可实现更快收敛和更优性能，表明图感知的特征提取能显著提升路由策略质量。
• 预训练显著加速学习过程，DGATR 仅需3,000步预训练即可达到近似最优性能，而DQN-路由需超过4,000步才能达到相似性能。