[论文解读] Self-Tuning Sectorization: Deep Reinforcement Learning Meets Broadcast Beam Optimization

Rubayet Shafin, Hao Chen+7 more|arXiv (Cornell University)|Jun 14, 2019

Advanced MIMO Systems Optimization参考文献 27被引用 4

一句话总结

本文提出一种基于深度强化学习（DRL）的框架，用于在MIMO广播波束成形中实现自适应波束扇区化，能够根据实时用户分布动态、自主地优化波束波形。DRL智能体学习选择最优波束配置以最大化覆盖范围，在周期性和马尔可夫性移动模式下均能精确收敛至最优解（oracle solution）。

ABSTRACT

Beamforming in multiple input multiple output (MIMO) systems is one of the key technologies for modern wireless communication. Creating appropriate sector-specific broadcast beams are essential for enhancing the coverage of cellular network and for improving the broadcast operation for control signals. However, in order to maximize the coverage, patterns for broadcast beams need to be adapted based on the users' distribution and movement over time. In this work, we present self-tuning sectorization: a deep reinforcement learning framework to optimize MIMO broadcast beams autonomously and dynamically based on user' distribution in the network. Taking directly UE measurement results as input, deep reinforcement learning agent can track and predict the UE distribution pattern and come up with the best broadcast beams for each cell. Extensive simulation results show that the introduced framework can achieve the optimal coverage, and converge to the oracle solution for both single sector and multiple sectors environment, and for both periodic and Markov mobility patterns.

研究动机与目标

• 解决现代蜂窝网络中因静态、手动配置的广播波束参数导致的覆盖性能不佳问题。
• 实现对扇区特定波束波形的动态、自主适应，以响应用户分布和移动模式的变化。
• 开发一种自优化的MIMO广播波束成形框架，消除对周期性路测和手动参数调优的依赖。
• 通过学习适应周期性和随机（马尔可夫性）用户移动的波束配置策略，实现最优网络覆盖。
• 在单扇区和多扇区环境中，证明DRL智能体能够收敛至最优波束配置（即最优解）。

提出的方法

• 采用深度Q网络（DQN）强化学习训练智能体，根据实时用户设备（UE）测量反馈选择波束波形。
• 将UE分布数据直接作为DRL智能体的输入，使其能够跟踪并预测用户聚类模式随时间的变化。
• 定义一个奖励函数，基于每种波束配置下连接的UE数量来量化覆盖性能。
• 在包含周期性和马尔可夫性移动模式的仿真环境中训练DRL智能体。
• 实施多扇区学习架构，使每个扇区基于本地用户分布独立选择波束波形，同时保持全局覆盖优化的协调。
• 使用马尔可夫性移动的状态转移模型，模拟非规则用户移动，以测试算法的鲁棒性。

实验结果

研究问题

• RQ1 基于DRL的系统能否在无需人工干预的情况下，自主优化动态用户分布下的广播波束波形？
• RQ2 在单扇区和多扇区场景下，DRL智能体在周期性用户移动模式下收敛至最优波束配置（最优解）的程度如何？
• RQ3 当用户移动模式被建模为马尔可夫过程时，DRL框架能否保持最优性能和收敛性？
• RQ4 在不同用户分布场景下，DRL智能体在波束波形选择上与最优解策略的匹配程度如何？
• RQ5 在训练过程中，奖励信号与动作不匹配如何演变？系统在复杂移动环境是否实现了稳定收敛？

主要发现

• 在周期性用户移动模式下，DRL智能体在单扇区和多扇区环境中均实现了与最优解的完美收敛。
• DRL智能体奖励与最优解奖励之间的平均平方差（ASD）在训练后降至零，表明实现了精确收敛。
• 所有扇区的DRL智能体与最优解之间的平均动作不匹配（AM）均降至零，证实智能体选择的波束波形与最优解完全一致。
• 对于马尔可夫性移动模式，DRL智能体仍能收敛至最优解，ASD与AM均达到零，表明对非周期性、随机用户移动具有强鲁棒性。
• 即使不同场景下的奖励值仅相差极小，DRL智能体仍能成功识别最优动作，表明学习精度极高。
• 收敛时的瞬时奖励和动作轨迹显示，智能体能为每种场景选择正确的波束波形，证实了策略学习的稳定与准确。