[论文解读] Transfer Reinforcement Learning for 5G-NR mm-Wave Networks

Medhat Elsayed, Melike Erol‐Kantarci+1 more|arXiv (Cornell University)|Jan 1, 2020

Millimeter-Wave Propagation and Modeling参考文献 42被引用 2

一句话总结

本文提出了一种用于5G-NR毫米波网络中联合用户-小区关联与波束赋形优化的迁移强化学习（TQL）框架，以最大化吞吐量并减轻同波束内及小区间干扰。通过将预训练专家智能体的知识迁移至学习智能体，TQL在高移动性场景下比基线方法实现12%更高的吞吐量，在静态场景下比标准Q-learning快29%的收敛速度。

ABSTRACT

In this paper, we aim at interference mitigation in 5G millimeter-Wave (mm-Wave) communications by employing beamforming and Non-Orthogonal Multiple Access (NOMA) techniques with the aim of improving network's aggregate rate. Despite the potential capacity gains of mm-Wave and NOMA, many technical challenges might hinder that performance gain. In particular, the performance of Successive Interference Cancellation (SIC) diminishes rapidly as the number of users increases per beam, which leads to higher intra-beam interference. Furthermore, intersection regions between adjacent cells give rise to inter-beam inter-cell interference. To mitigate both interference levels, optimal selection of the number of beams in addition to best allocation of users to those beams is essential. In this paper, we address the problem of joint user-cell association and selection of number of beams for the purpose of maximizing the aggregate network capacity. We propose three machine learning-based algorithms; transfer Q-learning (TQL), Q-learning, and Best SINR association with Density-based Spatial Clustering of Applications with Noise (BSDC) algorithms and compare their performance under different scenarios. Under mobility, TQL and Q-learning demonstrate 12% rate improvement over BSDC at the highest offered traffic load. For stationary scenarios, Q-learning and BSDC outperform TQL, however TQL achieves about 29% convergence speedup compared to Q-learning.

研究动机与目标

• 解决因用户密度高和波束重叠导致的5G-NR毫米波网络中的干扰挑战。
• 通过联合优化用户-小区关联与波束数量，以最大化网络聚合速率。
• 克服传统优化方法与集中式方法在多小区毫米波环境中的局限性。
• 通过在动态网络场景中应用迁移强化学习，提升学习效率与收敛速度。
• 在静态与移动用户部署场景下评估性能，以检验所提算法的鲁棒性与适应性。

提出的方法

• 提出一种多智能体框架，其中每个gNB在多小区毫米波网络中作为独立的学习智能体。
• 设计一种基于知识迁移的强化学习算法（TQL），采用跨任务映射（TvITM）机制，将专家智能体（简单用户-小区关联）的知识迁移至学习智能体（复杂联合关联与波束选择）。
• 实现基于Q-learning的智能体，用于联合用户-小区关联与波束数量选择，采用基于吞吐量与干扰抑制的奖励函数。
• 引入一种混合基线（BSDC），结合最佳SINR用于关联，以及基于空间接近度的DBSCAN用于用户聚类。
• 将状态空间定义为用户分布与信道条件，动作空间定义为每波束的波束数量与用户分配。
• 使用奖励函数以最大化频谱效率并最小化干扰，对高中断与分组丢失情况施加惩罚。

实验结果

研究问题

• RQ1 迁移强化学习是否能提升毫米波网络中联合用户-小区关联与波束选择的收敛速度与性能？
• RQ2 在不同用户移动性与负载条件下，TQL与标准Q-learning及BSDC基线的性能表现如何比较？
• RQ3 用户移动性对基于机器学习的波束管理算法的稳定性与速率性能有何影响？
• RQ4 从预训练专家智能体迁移知识是否能显著提升复杂动态毫米波环境中的学习效率？
• RQ5 所提出的TQL框架在不同部署场景下如何平衡收敛速度、吞吐量与鲁棒性？

主要发现

• 在高移动性（随机行走模型）下，TQL与Q-learning在峰值负载时比BSDC基线实现12%更高的吞吐量。
• 在静止场景下，Q-learning与BSDC在吞吐量上比TQL高出10%–23%，表明TQL在静态环境中存在速度与最终性能之间的权衡。
• 在静态场景下，TQL比标准Q-learning快约29%的收敛速度，证明其在学习速度上的高效性。
• 三种算法——TQL、Q-learning与BSDC——均实现低延迟（低于1 ms），因仿真限制自动ARQ重传次数为一次，且均优于基线在延迟方面的表现。
• BSDC算法的计算复杂度低于TQL与Q-learning，使其在静态部署中成为一种可行的低开销替代方案。
• 所提出的TQL框架支持高效离线训练与知识在线部署的迁移，为实际现场部署提供了独特优势。