[论文解读] Pervasive Machine Learning for Smart Radio Environments Enabled by Reconfigurable Intelligent Surfaces

George C. Alexandropoulos, Kyriakos Stylianopoulos+4 more|arXiv (Cornell University)|May 8, 2022

Advanced Wireless Communication Technologies被引用 7

一句话总结

本文提出一种基于多臂赌博机（MAB）的方法，用于智能无线电环境中多个可重构智能表面（RIS）的动态配置，为深度强化学习（DRL）提供了一种低复杂度的替代方案。结果表明，MAB方法在显著降低执行时间的同时，实现了与DQN相当的和速率性能，尤其在大规模RIS部署场景下优势明显。

ABSTRACT

The emerging technology of Reconfigurable Intelligent Surfaces (RISs) is provisioned as an enabler of smart wireless environments, offering a highly scalable, low-cost, hardware-efficient, and almost energy-neutral solution for dynamic control of the propagation of electromagnetic signals over the wireless medium, ultimately providing increased environmental intelligence for diverse operation objectives. One of the major challenges with the envisioned dense deployment of RISs in such reconfigurable radio environments is the efficient configuration of multiple metasurfaces with limited, or even the absence of, computing hardware. In this paper, we consider multi-user and multi-RIS-empowered wireless systems, and present a thorough survey of the online machine learning approaches for the orchestration of their various tunable components. Focusing on the sum-rate maximization as a representative design objective, we present a comprehensive problem formulation based on Deep Reinforcement Learning (DRL). We detail the correspondences among the parameters of the wireless system and the DRL terminology, and devise generic algorithmic steps for the artificial neural network training and deployment, while discussing their implementation details. Further practical considerations for multi-RIS-empowered wireless communications in the sixth Generation (6G) era are presented along with some key open research challenges. Differently from the DRL-based status quo, we leverage the independence between the configuration of the system design parameters and the future states of the wireless environment, and present efficient multi-armed bandits approaches, whose resulting sum-rate performances are numerically shown to outperform random configurations, while being sufficiently close to the conventional Deep Q-Network (DQN) algorithm, but with lower implementation complexity.

研究动机与目标

• 解决在密集、低计算资源环境下高效配置多个RIS以支持智能无线电应用的挑战。
• 克服传统深度强化学习（DRL）方法在多RIS系统中计算成本高、复杂度大的问题。
• 为动态RIS相位配置与基站预编码优化设计可扩展、低时延的控制框架。
• 探索DRL之外的替代学习范式，在保持高性能的同时降低实现开销。
• 通过轻量级、反馈驱动的控制机制，实现RIS赋能的6G网络的实际部署。

提出的方法

• 将RIS配置问题建模为多臂赌博机（MAB）问题，利用系统设计参数与未来信道状态之间的统计独立性。
• 采用上界置信区间（UCB）和ε-贪婪策略，在无需完整信道状态信息（CSI）的情况下平衡探索与利用。
• 基于测量的信干噪比（SINR）反馈设计奖励函数，避免显式获取CSI的需求。
• 构建通用DRL框架用于对比，采用深度Q网络（DQN）和神经ε-贪婪算法，利用深度神经网络学习最优策略。
• 将MAB与DRL方法整合到统一的系统模型中，涵盖多用户、多RIS及多天线基站配置。
• 利用GPU加速的并行计算，评估在RIS元原子数量增加时的执行时间可扩展性。

实验结果

研究问题

• RQ1 多臂赌博机能否为多用户、多RIS系统中的RIS配置提供一种可行且低复杂度的替代DRL的方法？
• RQ2 在和速率与收敛速度方面，基于MAB的RIS配置方法与基于DRL的方法相比表现如何？
• RQ3 动作空间大小与RIS元原子数量对学习算法执行时间与可扩展性有何影响？
• RQ4 基于反馈的MAB方法是否能在无需完整信道状态信息（CSI）可观测性的情况下实现近似最优性能？
• RQ5 与随机配置和穷举搜索相比，所提出的MAB框架在性能与计算成本方面表现如何？

主要发现

• 基于MAB的方法，特别是UCB变体，在执行速度显著更快的同时，实现了与DQN方法相当的和速率性能。
• UCB方法的执行时间远低于DQN与神经ε-贪婪方法，128个元原子时达到每秒726个时间步，而DQN仅为每秒25个时间步。
• 随着RIS元原子数量的增加，DRL方法的执行时间仅略有上升，得益于GPU并行化，显示出良好的可扩展性。
• 在小动作空间（如32个元原子）中，最优（穷举搜索）方法比DRL更快，但当元原子数量超过128个时即变得不可行。
• 基于MAB的控制器在所有测试场景中均持续优于随机配置，且实现接近最优的性能，展现出鲁棒性与实用性。
• 所提出的MAB框架无需CSI可观测性，仅依赖SINR反馈，显著提升了其在真实6G部署中的实用性。