[论文解读] Toward Packet Routing with Fully-distributed Multi-agent Deep Reinforcement Learning

Xinyu You, Xuanjie Li+4 more|arXiv (Cornell University)|May 9, 2019

Software-Defined Networks and 5G参考文献 36被引用 14

一句话总结

该论文提出DQRC，一种基于LSTM的Q网络在每个路由器上实现的完全分布式多智能体深度强化学习框架，用于分组路由。通过结合本地历史记录、排队分组信息以及周期性邻居状态共享，DQRC显著降低了平均分组传输延迟——相比Backpressure算法降低超过50%，同时在动态拓扑中实现了对拥塞的感知与最短路径路由之间的平衡。

ABSTRACT

Packet routing is one of the fundamental problems in computer networks in which a router determines the next-hop of each packet in the queue to get it as quickly as possible to its destination. Reinforcement learning (RL) has been introduced to design autonomous packet routing policies with local information of stochastic packet arrival and service. However, the curse of dimensionality of RL prohibits the more comprehensive representation of dynamic network states, thus limiting its potential benefit. In this paper, we propose a novel packet routing framework based on \emph{multi-agent} deep reinforcement learning (DRL) in which each router possess an \emph{independent} LSTM recurrent neural network for training and decision making in a \emph{fully distributed} environment. The LSTM recurrent neural network extracts routing features from rich information regarding backlogged packets and past actions, and effectively approximates the value function of Q-learning. We further allow each route to communicate periodically with direct neighbors so that a broader view of network state can be incorporated. Experimental results manifest that our multi-agent DRL policy can strike the delicate balance between congestion-aware and shortest routes, and significantly reduce the packet delivery time in general network topologies compared with its counterparts.

研究动机与目标

• 通过启用具有丰富状态表示的可扩展、分布式学习，解决分组路由中强化学习的维度灾难问题。
• 设计一种完全分布式的路由策略，利用本地观测和最小协调，平衡最短路径效率与拥塞避免。
• 通过利用深度学习实现精确的延迟估计和自适应决策，改进现有的Q-routing和Backpressure方法。
• 评估通信间隔以及架构组件（LSTM、共享状态）对动态网络拓扑中路由性能的影响。

提出的方法

• 每个路由器采用带有长短期记忆（LSTM）循环神经网络的深度Q网络，处理包括HOL分组目的地、排队分组数量、动作历史以及邻居队列状态在内的高维输入。
• LSTM网络近似Q-learning的Q值函数，实现对路由决策和拥塞模式随时间演变的建模。
• 路由器定期与直接邻居通信，共享队列长度和目的地信息，从而在无集中协调的情况下扩展本地状态感知能力。
• 奖励信号定义为分组传输时间的倒数，引导策略学习以最小化端到端延迟。
• 该框架以完全去中心化的方式训练，每个智能体仅使用本地观测和共享状态更新独立学习。
• 消融研究通过比较包含和不包含这些组件的DQRC变体，评估LSTM、通信和输入表示的贡献。

实验结果

研究问题

• RQ1 与标准Q网络相比，DRL智能体中引入LSTM如何改善路由策略学习？
• RQ2 周期性智能体间通信对传输延迟和拥塞控制方面的路由性能有何影响？
• RQ3 在不同网络拓扑和流量模式下，DQRC与基线方法（如Q-routing和Backpressure）相比表现如何？
• RQ4 输入特征设计（如HOL、排队量、邻居状态）在多大程度上影响路由策略的学习效率和最终性能？

主要发现

• 在各种网络拓扑和流量条件下，DQRC相比Backpressure算法将平均分组传输延迟降低了50%以上。
• 随着通信间隔延长，平均传输延迟稳步上升，但在5ms间隔时仍低于Backpressure性能的一半，表明在非实时环境下的鲁棒性。
• 移除LSTM层后，平均传输延迟增加10%，表明其在建模时间依赖性和拥塞趋势中的关键作用。
• 若取消智能体间通信或仅使用当前目的地作为输入，性能显著下降，证实了共享状态信息的价值。
• DQR（简化输入版本）与Q-routing表现相当，表明仅通过神经网络近似Q表无法在缺乏丰富输入特征的情况下提升延迟估计性能。
• 所提出的DQRC框架在最短路径路由与拥塞感知转发之间实现了更优平衡，在动态环境中优于Q-routing和Backpressure。