[论文解读] Reinforcement-Learning-Based Resource Allocation in Fog Radio Access Networks for Various IoT Environments.

Almuthanna Nassar, Yasin Yılmaz|arXiv (Cornell University)|May 27, 2018

Energy Harvesting in Wireless Networks被引用 11

一句话总结

本文提出了一种基于强化学习（RL）的资源分配框架，用于雾无线电接入网络（F-RANs），以动态决定是否在本地服务物联网（IoT）用户或将其卸载至云端。通过将问题建模为无限时域和有限时域马尔可夫决策过程（MDPs），该方法从环境反馈中学习最优决策阈值，在平衡效用最大化与空闲时间减少方面，优于固定阈值策略，适用于多样化的物联网工作负载。

ABSTRACT

Fog radio access network (F-RAN) has been recently proposed to satisfy the low-latency communication requirements of Internet of Things (IoT) applications. We consider the problem of sequentially allocating the limited resources of a fog node to a heterogeneous population of IoT applications with varying latency requirements. Specifically, for each service request it receives in time, fog node needs to decide whether to serve that user locally to provide it with low-latency communication service or to refer it to the cloud control center to keep valuable fog resources available for future users with potentially higher utility to the system (i.e., lower latency requirement). We formulate the problem as a Markov Decision Process (MDP) in two alternative formulations: infinite-horizon MDP (IH MDP) and finite-horizon MDP (FH MDP). In both IH and FH formulations, we present the optimal solution, known as the optimal policy, through Reinforcement Learning (RL). The optimal policies in both cases are learnt from the IoT environment using different RL methods. The significant advantage of the proposed RL methods over the straightforward approach of deciding based on a fixed threshold of utility is that the RL methods quickly learn the optimal decision thresholds from the IoT environment, and thus always achieve the best possible performance regardless of the environment. They strike the right balance between the two conflicting objectives, maximize the average total served utility vs. minimize the fog node's idle time. Extensive simulation results for various IoT environments corroborate the theoretical underpinnings of the proposed RL methods.

研究动机与目标

• 为解决在具有不同延迟需求的异构物联网应用中，动态分配有限雾节点资源的挑战。
• 在时间受限的物联网环境中，平衡最大化总服务效用与最小化雾节点空闲时间的权衡。
• 开发一种自适应决策机制，通过实时环境反馈学习最优卸载策略，而非依赖静态阈值。
• 在多样化的物联网工作负载和系统条件下，评估所提出的基于RL方法的性能。

提出的方法

• 将资源分配问题建模为无限时域MDP（IH-MDP）和有限时域MDP（FH-MDP），以在不确定性下模拟序列决策过程。
• 应用强化学习技术，学习最优策略，以根据当前系统状态和用户效用决定是本地服务用户还是将其转发至云端。
• 使用值迭代和基于Q-learning的算法，在两种MDP建模中计算最优策略，使系统能够适应不断变化的物联网流量模式。
• 采用状态表示方法，捕捉用户延迟需求、雾资源可用性以及历史请求模式，以支持决策制定。
• 实施函数逼近和经验回放技术，以提高大规模状态空间中的样本效率和收敛性。
• 通过在多个物联网环境中进行仿真验证该方法，以评估其鲁棒性和适应性。

实验结果

研究问题

• RQ1 雾节点如何为每个到达的物联网请求最优地在本地服务与云端卸载之间进行决策，以平衡延迟与资源利用率？
• RQ2 在异构物联网环境中，基于RL的决策方法相比固定阈值策略的性能增益如何？
• RQ3 无限时域与有限时域MDP建模在学习F-RANs有效资源分配策略方面有何比较优势？
• RQ4 强化学习在缺乏环境先验知识的情况下，能够多大程度上适应变化的物联网流量模式和延迟需求？
• RQ5 基于学习的阈值对系统整体效用和雾节点空闲时间有何影响？

主要发现

• 基于RL的方法在所有测试的物联网环境中，均持续优于固定阈值策略，实现了总服务效用的最大化。
• 通过学习的决策阈值动态适应工作负载变化，显著降低了雾节点的空闲时间。
• 有限时域MDP建模在具有可预测请求序列的时间受限场景中表现出更快的收敛速度和更优的性能。
• 无限时域MDP建模在稳态或重复性流量模式下，提供了强大的长期效用优化能力。
• 两种RL建模方式均能有效适应多样化的物联网工作负载，展现出良好的鲁棒性和泛化能力，且无需预先知晓流量分布。
• 学习过程使系统能够自动发现即时效用与未来资源可用性之间的最优权衡。