[论文解读] When Machine Learning Meets Congestion Control: A Survey and Comparison

Huiling Jiang, Qing Li+5 more|arXiv (Cornell University)|Oct 22, 2020

Network Traffic and Congestion Control参考文献 90被引用 4

一句话总结

本文综述并对比了基于机器学习的拥塞控制（CC）算法，重点聚焦强化学习（RL）作为关键方法。评估表明，与传统基于规则的算法相比，基于RL的CC在高带宽、低延迟场景下表现更优，同时识别出收敛性、过拟合及工程可行性等在实际部署中的挑战。

ABSTRACT

Machine learning (ML) has seen a significant surge and uptake across many diverse applications. The high flexibility, adaptability and computing capabilities it provides extends traditional approaches used in multiple fields including network operation and management. Numerous surveys have explored ML in the context of networking, such as traffic engineering, performance optimization and network security. Many ML approaches focus on clustering, classification, regression and reinforcement learning (RL). The innovation of this research and contribution of this paper lies in the detailed summary and comparison of learning-based congestion control (CC) approaches. Compared with traditional CC algorithms which are typically rule-based, capabilities to learn from historical experience are highly desirable. From the literature, it is observed that RL is a crucial trend among learning-based CC algorithms. In this paper, we explore the performance of RL-based CC algorithms and present current problems with RL-based CC algorithms. We outline challenges and trends related to learning-based CC algorithms.

研究动机与目标

• 分析基于学习的拥塞控制（CC）算法的最新进展，特别是使用强化学习（RL）的算法。
• 从性能、适应性和鲁棒性角度，对比基于RL的CC算法与传统基于规则的CC机制。
• 识别在真实网络中部署基于RL的CC所面临的关键挑战，包括收敛性、过拟合及计算复杂度。
• 概述未来研究趋势，如轻量化模型和真实仿真平台，以实现可扩展且高效的CC解决方案。
• 全面概述当前在机器学习驱动的网络拥塞管理中面临的局限与机遇。

提出的方法

• 系统性地调研基于学习的CC方法，重点关注强化学习（RL）作为主导范式。
• 回顾传统CC机制——基于丢包、基于延迟及混合型——并指出其在动态、复杂网络中的局限性。
• 通过多样化网络场景（包括数据中心、5G及卫星网络）的仿真评估，分析基于RL的CC算法。
• 识别基于RL的CC系统中存在工程挑战，如硬收敛性、过拟合及高计算需求。
• 提出需要开发轻量化、融合领域知识的模型，以降低复杂度并提升可部署性。
• 倡导开发开放、真实的仿真平台（如Pantheon），以支持下一代CC算法的评估与训练。

实验结果

研究问题

• RQ1 在多样化网络环境中，基于RL的拥塞控制算法与传统基于规则的CC算法在吞吐量、公平性和延迟方面有何差异？
• RQ2 阻碍基于RL的拥塞控制系统在真实世界中部署的主要挑战是什么？
• RQ3 如何设计轻量化且高效的基于学习的模型，以降低计算开销并提升可扩展性？
• RQ4 真实仿真平台在推动基于学习的CC算法开发与评估中发挥什么作用？
• RQ5 在提升机器学习驱动拥塞控制的鲁棒性与适应性方面，哪些未来趋势和研究方向最具前景？

主要发现

• 在高带宽、低延迟的网络场景中，基于RL的拥塞控制算法优于传统CC算法，实现了更高的吞吐量和更好的公平性。
• 尽管仿真结果表现强劲，基于RL的CC在真实世界部署中仍面临显著挑战，包括硬收敛性及对特定网络拓扑的过拟合。
• 当前基于RL的CC算法存在高计算复杂度和内存需求，限制了其在资源受限环境中的实用性。
• 迫切需要开发融合领域知识的轻量化模型，以减少参数数量并提升训练效率。
• 现有仿真平台如Pantheon在建模复杂、动态的网络环境（如灵活的自组织无线网络）方面仍显不足。
• 未来研究必须优先考虑工程可行性，包括超参数选择与计算效率，以推动基于学习的CC解决方案在真实世界中的采纳。