[论文解读] MVFST-RL: An Asynchronous RL Framework for Congestion Control with Delayed Actions

Viswanath Sivakumar, Delalleau, Olivier+7 more|arXiv (Cornell University)|Oct 9, 2019

Network Traffic and Congestion Control参考文献 13被引用 33

一句话总结

介绍 mvfst-rl，一种用于在 QUIC 中实现带有延迟动作的拥塞控制的异步强化学习框架，使用带有离策略校正的 IMPALA 以及 Pantheon 仿真器。

ABSTRACT

Effective network congestion control strategies are key to keeping the Internet (or any large computer network) operational. Network congestion control has been dominated by hand-crafted heuristics for decades. Recently, ReinforcementLearning (RL) has emerged as an alternative to automatically optimize such control strategies. Research so far has primarily considered RL interfaces which block the sender while an agent considers its next action. This is largely an artifact of building on top of frameworks designed for RL in games (e.g. OpenAI Gym). However, this does not translate to real-world networking environments, where a network sender waiting on a policy without sending data leads to under-utilization of bandwidth. We instead propose to formulate congestion control with an asynchronous RL agent that handles delayed actions. We present MVFST-RL, a scalable framework for congestion control in the QUIC transport protocol that leverages state-of-the-art in asynchronous RL training with off-policy correction. We analyze modeling improvements to mitigate the deviation from Markovian dynamics, and evaluate our method on emulated networks from the Pantheon benchmark platform. The source code is publicly available at https://github.com/facebookresearch/mvfst-rl.

研究动机与目标

• 促使用适用于现实世界网络的异步框架替代阻塞的 RL 智能体。
• 将拥塞控制建模为带有延迟动作的 MDP，并使用增强状态来捕捉动作历史。
• 使用基于 QUIC 的 mvfst、TorchBeast IMPALA 和 Pantheon 网络仿真器开发并评估 mvfst-rl。
• 演示离策略校正（V-trace）如何实现异步训练而不阻塞发送方。
• 研究跨网络场景和奖励归一化策略的鲁棒性与泛化挑战。

提出的方法

• 将拥塞控制建模为带有延迟动作的 MDP，并使用包含动作历史的增强状态。
• 定义一个离散动作空间来更新 cwnd（cwnd、cwnd/2、cwnd-10、cwnd+10、cwnd×2），以及一个在吞吐量和延迟之间进行平衡的奖励函数。
• 使用基于 IMPALA 的带有 V-trace 离策略校正的异步 actor-critic 框架，在训练时不阻塞环境。
• 将 mvfst（QUIC）与 Pantheon 网络仿真器以及 TorchBeast 进行分布式训练整合；训练完成后通过 TorchScript 部署。
• 结合使用按场景的在线均值和标准差估计进行奖励归一化，以稳定多场景训练。
• 采用基于 LSTM 的模型干线，配备策略头和价值头，并在 episode 终止处引导价值以减轻长时程效应。

实验结果

研究问题

• RQ1 在现实网络中给定动作延迟的情况下，如何用异步 RL 学习拥塞控制？
• RQ2 在带有最近动作历史的状态下，是否能在延迟动作情况下提升学习？
• RQ3 离策略校正的异步训练（V-trace）是否能带来具有竞争力的拥塞控制性能？
• RQ4 mvfst-rl 对未见网络场景的泛化能力如何，奖励归一化对其有何影响？
• RQ5 在训练稳定性和性能方面，包含 LSTM 和熵正则化的影响是什么？

主要发现

• mvfst-rl 在经过校准的 Pantheon 仿真器上实现了有意义的吞吐-延迟权衡，并且优于随机动作基线。
• 该模型倾向于产生较低吞吐量但同时较低延迟，与高吞吐量拥塞控制相比，表明可以通过奖励设置实现可调的权衡。
• 在具有不同 RTT 和较小缓冲区的未见网络场景下泛化能力下降，表明对训练条件的过拟合。
• 熵正则化需要谨慎调整；太小会导致不稳定，太大则降低性能。
• 包含 LSTM 相对于非循环模型显著提升了性能，强调在部分观测条件下记忆的重要性。