[论文解读] Toward a Smart Resource Allocation Policy via Artificial Intelligence in 6G Networks: Centralized or Decentralized?

Ali Nouruzi, Atefeh Rezaei+5 more|arXiv (Cornell University)|Feb 18, 2022

Software-Defined Networks and 5G被引用 4

一句话总结

本文提出了一种面向6G网络的动态、AI驱动的资源分配框架，利用深度强化学习（DRL）与软演员-critic算法，智能地在集中式与分布式操作模式之间进行选择。该框架引入了一种新型的吞吐量开销复杂度（TOC）度量指标，并通过仿真表明，该智能策略在不同网络负载下，相较于固定集中式与分布式方案，在可扩展性、适应性及性能权衡方面表现更优。

ABSTRACT

In this paper, we design a new smart softwaredefined radio access network (RAN) architecture with important properties like flexibility and traffic awareness for sixth generation (6G) wireless networks. In particular, we consider a hierarchical resource allocation framework for the proposed smart soft-RAN model, where the software-defined network (SDN) controller is the first and foremost layer of the framework. This unit dynamically monitors the network to select a network operation type on the basis of distributed or centralized resource allocation architectures to perform decision-making intelligently. In this paper, our aim is to make the network more scalable and more flexible in terms of achievable data rate, overhead, and complexity indicators. To this end, we introduce a new metric, throughput overhead complexity (TOC), for the proposed machine learning-based algorithm, which makes a trade-off between these performance indicators. In particular, the decision making based on TOC is solved via deep reinforcement learning (DRL), which determines an appropriate resource allocation policy. Furthermore, for the selected algorithm, we employ the soft actor-critic method, which is more accurate, scalable, and robust than other learning methods. Simulation results demonstrate that the proposed smart network achieves better performance in terms of TOC compared to fixed centralized or distributed resource management schemes that lack dynamism. Moreover, our proposed algorithm outperforms conventional learning methods employed in other state-of-the-art network designs.

研究动机与目标

• 为解决6G网络中固定集中式或分布式资源分配方案在动态网络条件下缺乏适应性的问题。
• 设计一种灵活的软件定义RAN架构，实现基于网络状态与流量负载的实时智能决策。
• 提出一种新型性能度量指标——吞吐量开销复杂度（TOC），以平衡数据速率、开销与计算复杂度。
• 开发一种基于学习的框架，根据网络动态自主选择最优资源分配策略——集中式或分布式。

提出的方法

• 设计一种分层的软件定义RAN（soft-RAN）架构，以SDN控制器作为中央决策层。
• 采用软演员-critic算法实现深度强化学习（DRL）智能体，以学习在集中式与分布式资源分配之间切换的最优策略。
• 引入一种新的复合度量指标——吞吐量开销复杂度（TOC），用于评估数据速率、信令开销与计算复杂度之间的权衡。
• 利用随用户密度、信道条件与流量负载变化的网络仿真环境反馈，训练DRL智能体。
• 在软演员-critic方法中使用连续动作空间，以实现比DQN等离散动作方法更高的精度与细粒度策略学习。
• 在不同网络条件下，将所提出的动态框架与固定集中式与分布式方案进行对比，以验证其适应性与性能。

实验结果

研究问题

• RQ1 在6G网络中，与固定集中式或分布式方案相比，动态自适应资源分配策略在性能权衡方面表现如何？
• RQ2 网络密度与流量负载对集中式与分布式资源分配最优选择的影响是什么？
• RQ3 深度强化学习智能体能否有效学习在集中式与分布式模式间切换，以最小化吞吐量开销复杂度（TOC）？
• RQ4 与DDPG或DQN等其他DRL方法相比，软演员-critic方法在此场景下如何提升性能与稳定性？
• RQ5 所提出的智能框架在不同网络条件下，能在多大程度上平衡数据速率、开销与复杂度？

主要发现

• 所提出的智能框架实现了介于固定集中式与分布式方案之间的TOC性能，能够根据网络条件动态适应。
• 在低用户负载下，智能策略表现与集中式方案相似，实现高数据速率与中等开销。
• 在高用户负载（例如160个用户）下，智能策略向分布式模式过渡，由于开销与复杂度降低，其TOC表现优于集中式方案。
• 基于软演员-critic的算法在数据速率与稳定性方面优于DQN与DDPG，尤其得益于其对连续动作空间的处理能力。
• TOC度量表明，智能框架可降低超密集网络中的性能退化，而集中式方案在该场景下面临线性增长的复杂度与开销。
• 仿真结果证实，该学习方法在TOC方面优于传统DRL方法，尤其在高密度与动态流量场景下表现更优。