[论文解读] Optimal Routing for Delay-Sensitive Traffic in Overlay Networks

Rahul Singh, Eytan Modiano|arXiv (Cornell University)|Mar 21, 2017

Advanced Wireless Network Optimization参考文献 47被引用 4

一句话总结

该论文提出了一种去中心化、自适应的覆盖路由策略，用于在仅由覆盖节点进行路由决策、底层链路使用FIFO等静态策略的网络中，对延迟敏感的流量进行优化。该方案利用多时间尺度随机逼近和复制者动力学，最优地平衡探索与利用，以最小化端到端延迟，且无需了解底层网络特性，在仿真中优于现有方法。

ABSTRACT

We design dynamic routing policies for an overlay network which meet delay requirements of real-time traffic being served on top of an underlying legacy network, where the overlay nodes do not know the underlay characteristics. We pose the problem as a constrained MDP, and show that when the underlay implements static policies such as FIFO with randomized routing, then a decentralized policy, that can be computed efficiently in a distributed fashion, is optimal. Our algorithm utilizes multi-timescale stochastic approximation techniques, and its convergence relies on the fact that the recursions asymptotically track a nonlinear differential equation, namely the replicator equation. Extensive simulations show that the proposed policy indeed outperforms the existing policies.

研究动机与目标

• 设计一种动态、去中心化的覆盖网络路由策略，即使缺乏对底层遗留网络拓扑、路由或链路容量的了解，也能满足严格的端到端延迟要求。
• 解决在受限环境中在线学习的挑战，即覆盖节点必须在探索与利用之间取得平衡，以发现低延迟路径。
• 将全局延迟约束分解为本地链路级队列阈值，并利用链路价格诱导出最优、协作的路由行为。
• 设计一个三层控制架构，集成在线学习、价格自适应和队列阈值调节，以实现稳定、低延迟的运行。
• 确保在不同网络负载下（包括轻载和重载场景）的性能鲁棒性。

提出的方法

• 将问题形式化为带有平均延迟约束的受限马尔可夫决策过程（MDP），并通过利特尔定律将约束转化为平均队列长度的边界。
• 提出一种三层基于价格的覆盖控制器（POC），包括：(1) 覆盖节点进行路由决策，(2) 链路价格控制器，(3) 队列阈值调节器。
• 采用多时间尺度随机逼近方法，同时学习最优路由策略并自适应调整链路价格，确保收敛到最优解。
• 使用复制者动力学作为非线性常微分方程（ODE），建模链路价格的演化过程，实现覆盖节点间的去中心化协调。
• 应用带有随机逼近的Q-learning方法，即使在不了解网络参数的情况下，也能为给定价格向量学习最优路由策略。
• 结合原始-对偶结构与双时间尺度学习，求解路由与价格自适应的联合优化问题。

实验结果

研究问题

• RQ1 当覆盖节点缺乏对底层网络拓扑、路由或链路容量的了解时，如何实现对延迟敏感流量的最优路由？
• RQ2 能否设计一种去中心化、自适应的路由策略，在不依赖集中式控制的前提下，将端到端延迟保持在指定范围内？
• RQ3 在缺乏底层状态信息的情况下，何种学习机制能够实现有效的探索-利用权衡？
• RQ4 如何动态调整链路价格，以引导覆盖节点实现最优路由，同时满足全局延迟约束？
• RQ5 在时变网络条件下，所提出的多时间尺度学习方案是否能收敛到最优解？

主要发现

• 所提出的去中心化策略在端到端延迟方面实现了最优性能，即使在不了解底层网络特性的情况下亦然。
• 使用复制者动力学进行价格自适应，确保通过分布式在线学习实现对最优路由策略的收敛。
• 三层POC架构成功地将全局延迟约束分解为本地链路级队列阈值，并利用价格信号协调路由决策。
• 大量仿真结果表明，所提出的策略在各种网络负载下，其延迟和稳定性表现均优于现有路由策略。
• 该算法在不同流量条件下具有鲁棒性，能保持较低的平均队列长度，即使在网络动态变化时也能满足延迟约束。
• 学习算法的收敛性由非线性微分方程（即复制者方程）的渐近跟踪性保证，确保长期最优性。