[论文解读] On Improving Energy Efficiency within Green Femtocell Networks: A Hierarchical Reinforcement Learning Approach

Xianfu Chen, Honggang Zhang+3 more|arXiv (Cornell University)|Mar 13, 2013

Advanced MIMO Systems Optimization参考文献 19被引用 6

一句话总结

该论文提出了一种基于斯塔克尔伯格博弈的分层强化学习（HRL）框架，以提升两层小型蜂窝网络中的能效，其中宏蜂窝作为领导者，小型蜂窝作为跟随者。RLHPA-II算法通过引入基于互惠的策略共享机制，在收敛速度和效用性能方面优于非合作学习与RLHPA-I，显著提升了能效，同时满足服务质量（QoS）约束。

ABSTRACT

One of the efficient solutions of improving coverage and increasing capacity in cellular networks is the deployment of femtocells. As the cellular networks are becoming more complex, energy consumption of whole network infrastructure is becoming important in terms of both operational costs and environmental impacts. This paper investigates energy efficiency of two-tier femtocell networks through combining game theory and stochastic learning. With the Stackelberg game formulation, a hierarchical reinforcement learning framework is applied for studying the joint expected utility maximization of macrocells and femtocells subject to the minimum signal-to-interference-plus-noise-ratio requirements. In the learning procedure, the macrocells act as leaders and the femtocells are followers. At each time step, the leaders commit to dynamic strategies based on the best responses of the followers, while the followers compete against each other with no further information but the leaders' transmission parameters. In this paper, we propose two reinforcement learning based intelligent algorithms to schedule each cell's stochastic power levels. Numerical experiments are presented to validate the investigations. The results show that the two learning algorithms substantially improve the energy efficiency of the femtocell networks.

研究动机与目标

• 为应对密集蜂窝网络中日益增长的能耗，特别是小型蜂窝网络部署中的能耗问题。
• 在共信道干扰和QoS约束条件下，提升上行链路两层小型蜂窝网络的能效。
• 设计一种无需集中控制或完整信息交换的分布式、自主式资源分配机制。
• 利用随机学习与博弈论，将宏蜂窝与小型蜂窝之间的交互建模为领导者-跟随者学习博弈。
• 开发并评估基于强化学习的算法，以优化功率分配，实现联合效用最大化。

提出的方法

• 将能效问题建模为斯塔克尔伯格学习博弈，其中宏蜂窝作为领导者，小型蜂窝作为跟随者。
• 应用两种强化学习算法——RLHPA-I与RLHPA-II，领导者根据跟随者的最优响应动态承诺策略。
• 采用受Q-learning启发的更新规则，结合时变学习率：α_l^k = α_l^1 / θ^k 与 α_f^t_e = α_f^1 / θ^t_e，其中 θ = 1.1。
• 引入信念因子（δ_i = 2）以建模跟随者在策略适应中的推测能力。
• 采用路径损耗模型，路径损耗指数 n = 4，功率水平为 20、25 和 30 dBm。
• 在RLHPA-II中引入互惠机制，使小型蜂窝在时间上交换前一时间槽的传输参数，以提升响应协调性。

实验结果

研究问题

• RQ1 基于斯塔克尔伯格博弈的分层强化学习框架是否能在最小信息交换下有效提升两层小型蜂窝网络的能效？
• RQ2 以宏蜂窝为领导者、小型蜂窝为跟随者的斯塔克尔伯格博弈结构，如何影响效用最大化与收敛性？
• RQ3 与非互惠学习（RLHPA-I）相比，基于互惠的策略共享（RLHPA-II）在收敛速度与效用性能方面有何提升？
• RQ4 宏蜂窝的最小QoS要求（γ₀*）如何影响小型蜂窝的可实现SINR与能效？
• RQ5 所提出的基于学习的方法是否能独立于初始策略分布收敛至稳定均衡？

主要发现

• 所提出的斯塔克尔伯格学习博弈无论初始功率分布如何，均能收敛至稳定均衡，验证了理论收敛性（定理2）。
• RLHPA-I与RLHPA-II均实现了趋近于完全合作情形最优水平的期望效用，验证了定理3与定理4。
• 由于策略共享的互惠机制，RLHPA-II在收敛速度与效用性能方面均优于RLHPA-I与非合作学习方案。
• 随着宏蜂窝QoS要求（γ₀*）的提高，小型蜂窝的期望SINR下降，当γ₀*过高时性能显著恶化。
• 当γ₀*足够大时，小型蜂窝的期望SINR趋近于零，表明由于干扰过大，已无小型蜂窝处于激活状态。
• 结果表明，领导者（宏蜂窝）不仅从自身策略决策中受益，也从跟随者（小型蜂窝）行为的改善中获益，从而整体提升了网络能效。