[论文解读] Multi-Tenant Cross-Slice Resource Orchestration: A Deep Reinforcement Learning Approach

Xianfu Chen, Zhifeng Zhao+5 more|arXiv (Cornell University)|Jul 17, 2018

Software-Defined Networks and 5G参考文献 53被引用 3

一句话总结

本文提出了一种基于深度强化学习（DRL）的方法，用于仅无线接入网（RAN-only）切片环境下的多租户跨切片资源编排，其中服务提供商（SPs）竞争获取信道资源以服务其移动用户（MUs）。通过将问题建模为随机博弈，并采用各SP的马尔可夫决策过程的线性分解，该方法实现了独立、在线学习最优竞价与卸载策略，在效用、队列长度和能效方面显著优于基线方法。

ABSTRACT

With the cellular networks becoming increasingly agile, a major challenge lies in how to support diverse services for mobile users (MUs) over a common physical network infrastructure. Network slicing is a promising solution to tailor the network to match such service requests. This paper considers a system with radio access network (RAN)-only slicing, where the physical infrastructure is split into slices providing computation and communication functionalities. A limited number of channels are auctioned across scheduling slots to MUs of multiple service providers (SPs) (i.e., the tenants). Each SP behaves selfishly to maximize the expected long-term payoff from the competition with other SPs for the orchestration of channels, which provides its MUs with the opportunities to access the computation and communication slices. This problem is modelled as a stochastic game, in which the decision makings of a SP depend on the global network dynamics as well as the joint control policy of all SPs. To approximate the Nash equilibrium solutions, we first construct an abstract stochastic game with the local conjectures of channel auction among the SPs. We then linearly decompose the per-SP Markov decision process to simplify the decision makings at a SP and derive an online scheme based on deep reinforcement learning to approach the optimal abstract control policies. Numerical experiments show significant performance gains from our scheme.

研究动机与目标

• 解决在共享RAN-only切片环境中，多个自私的服务提供商（SPs）之间有限无线资源编排的挑战。
• 在动态且竞争的条件下，实现移动用户（MUs）在计算与通信资源之间的高效跨切片协调。
• 设计一种可扩展的去中心化决策框架，使SPs能够独立行动，同时近似纳什均衡行为。
• 通过基于推测的抽象与在线DRL，减少对全局网络状态和其它SP策略完整知识的依赖。
• 在不同流量负载与信道可用性条件下，提升系统整体性能，包括效用、队列长度、分组丢失与能耗。

提出的方法

• 将多租户资源编排问题建模为非合作随机博弈，其中每个SP旨在最大化其长期收益。
• 引入一种抽象随机博弈模型，用对其他SP行为的局部推测替代对全网络状态的依赖。
• 应用线性分解以简化每个SP的马尔可夫决策过程（MDP），实现各SP的独立决策。
• 开发一种在线深度强化学习（DRL）方案，实时迭代学习最优控制策略，而无需完整系统状态知识。
• 在SDN-编排器层面采用VCG定价机制，以调节每个调度时隙开始时的信道拍卖。
• 采用双门控DQN架构以稳定训练过程并提升DRL组件的样本效率。

实验结果

研究问题

• RQ1 如何为具有竞争SPs的多租户RAN-only切片环境设计一种去中心化、可扩展的资源编排方案？
• RQ2 SPs之间信息不完全与策略行为对共享RAN环境中系统性能有何影响？
• RQ3 在动态流量与有限信道访问条件下，基于DRL的方法能否有效学习最优竞价、卸载与调度策略？
• RQ4 与基线策略相比，所提方法在效用、队列稳定性与能效方面表现如何？
• RQ5 对每个SP的MDP进行线性分解在多大程度上提升了计算可处理性与学习收敛性？

主要发现

• 在不同流量负载与信道数量下，所提DRL方案在每个MU的平均效用方面显著高于所有三个基线方法。
• 在分组到达率λ=8时，与基线1相比，所提方案将平均队列长度减少最多40%，分组丢失减少最多50%。
• 随着信道数量的增加，所提方案在减少平均队列长度与分组丢失方面优于基线方法，表现出更好的可扩展性。
• 尽管基线2因更高的卸载率而降低了CPU能耗，但所提方案通过最小化分组丢失，保持了更好的服务质量，即使以略微增加的CPU能耗为代价。
• 该方案在学习过程中表现出稳定的收敛性，在效用、队列管理与能效方面均保持一致的性能提升。
• 对每个SP的MDP进行线性分解，实现了有效的独立学习，并降低了计算复杂度，而未牺牲性能。