[论文解读] Reinforcement Learning Framework for Server Placement and Workload Allocation in Multi-Access Edge Computing

Anahita Mazloomi, Hani Sami+3 more|arXiv (Cornell University)|Feb 21, 2022

IoT and Edge/Fog Computing被引用 4

一句话总结

本文提出了一种新颖的强化学习框架 TDMC/QMC，用于在多接入边缘计算（MEC）中联合优化边缘服务器部署与基站分配，以最小化网络延迟并减少服务器数量。通过设计一种高效的马尔可夫决策过程（MDP），优化了状态/动作空间与惩罚函数，该方法实现了稳定的时序差分学习（TD(λ)）与Q学习，在真实上海数据集上的成本降低方面优于基线方法。

ABSTRACT

Cloud computing is a reliable solution to provide distributed computation power. However, real-time response is still challenging regarding the enormous amount of data generated by the IoT devices in 5G and 6G networks. Thus, multi-access edge computing (MEC), which consists of distributing the edge servers in the proximity of end-users to have low latency besides the higher processing power, is increasingly becoming a vital factor for the success of modern applications. This paper addresses the problem of minimizing both, the network delay, which is the main objective of MEC, and the number of edge servers to provide a MEC design with minimum cost. This MEC design consists of edge servers placement and base stations allocation, which makes it a joint combinatorial optimization problem (COP). Recently, reinforcement learning (RL) has shown promising results for COPs. However, modeling real-world problems using RL when the state and action spaces are large still needs investigation. We propose a novel RL framework with an efficient representation and modeling of the state space, action space and the penalty function in the design of the underlying Markov Decision Process (MDP) for solving our problem.

研究动机与目标

• 为解决MEC中边缘服务器部署与基站分配的联合优化问题，以最小化网络延迟并减少服务器数量。
• 克服在大规模、现实世界组合优化问题（COPs）中应用强化学习（RL）的挑战，这些问题具有复杂的状态与动作空间。
• 设计一种高效的马尔可夫决策过程（MDP），具备精确的状态表示、动作空间建模与惩罚函数，以实现稳定的TD(λ)与Q学习。
• 评估所提出的TDMC与QMC算法在最小化总网络设计成本方面相对于K-means、GA与DQN等基线方法的性能。
• 研究超参数α与γ对学习收敛性与解质量的影响。

提出的方法

• 提出一种定制的MDP公式，采用紧凑的状态空间表示，以捕捉基站位置、服务器可用性与工作负载分布。
• 定义一种动态动作空间，使智能体以离散、组合的方式选择服务器部署位置与基站分配。
• 引入一种多目标惩罚函数，平衡网络延迟与服务器数量，以引导学习朝向成本最小化解。
• 采用带优势追踪（eligibility traces）的时序差分学习（TD(λ)）（TDMC）与Q学习（当λ=0时为QMC），以稳定学习并减少值函数近似中的过估计偏差。
• 使用来自上海电信的真实世界数据集，模拟真实的基站与请求分布，用于训练与评估。
• 通过DQN评估深度强化学习，以对比与表格型Q学习的性能，结果表明在此MDP设计中，非线性近似并非必要且具有破坏性。

实验结果

研究问题

• RQ1 强化学习框架能否有效解决MEC中具有大规模状态与动作空间的边缘服务器部署与基站分配联合优化问题？
• RQ2 状态空间、动作空间与惩罚函数的设计如何影响此COP中TD(λ)与Q学习的收敛性与性能？
• RQ3 在该MEC场景中，为最小化总网络成本，学习率（α）与折扣因子（γ）的最优配置是什么？
• RQ4 深度Q学习（DQN）是否优于表格型Q学习？还是非线性函数近似在此问题中引入了不稳定性与次优策略？
• RQ5 所提出的TDMC与QMC算法在成本、延迟与服务器数量方面，与K-means、GA与随机分配等传统基线方法相比如何？

主要发现

• TDMC与QMC在所有基线方法中表现最优，包括GA与K-means，其中QMC在性能上略占优势。
• 当α=0.4且γ=0.9时，达到的最低成本为2967.9766，为所有测试超参数组合中的最低值。
• DQN未能收敛或稳定，产生的成本更高且波动更大，原因在于该问题中非必要的非线性函数近似，而表格方法更优。
• 高效的MDP设计，包括紧凑的状态表示与结构良好的惩罚函数，即使在大规模问题下也实现了稳定的学习与收敛。
• 通过TDMC/QMC实现的延迟与服务器数量的联合优化，相比仅优化单一目标的方法（如K-means或Top-K）实现了更优的权衡。
• 研究证实，超参数α与γ显著影响学习性能，其中α=0.4与γ=0.9在收敛速度与解质量之间实现了最佳平衡。