[论文解读] Reinforcement Learning-based Resource Allocation in Fog RAN for IoT with Heterogeneous Latency Requirements

Almuthanna Nassar, Yasin Yılmaz|arXiv (Cornell University)|May 27, 2018

IoT and Edge/Fog Computing被引用 7

一句话总结

本文提出了一种基于强化学习（RL）的资源分配框架，用于雾无线电接入网络（Fog-RAN），以优化具有异构延迟需求的物联网（IoT）设备的服务决策。通过将问题建模为马尔可夫决策过程（MDP），作者应用Q-learning、SARSA、Expected SARSA和蒙特卡洛方法，动态决定是否在本地处理请求或将其卸载至云端，相较于固定阈值方法，在19种不同的物联网环境中均实现了更优的性能表现。

ABSTRACT

In light of the quick proliferation of Internet of things (IoT) devices and applications, fog radio access network (Fog-RAN) has been recently proposed for fifth generation (5G) wireless communications to assure the requirements of ultra-reliable low-latency communication (URLLC) for the IoT applications which cannot accommodate large delays. Hence, fog nodes (FNs) are equipped with computing, signal processing and storage capabilities to extend the inherent operations and services of the cloud to the edge. We consider the problem of sequentially allocating the FN's limited resources to the IoT applications of heterogeneous latency requirements. For each access request from an IoT user, the FN needs to decide whether to serve it locally utilizing its own resources or to refer it to the cloud to conserve its valuable resources for future users of potentially higher utility to the system (i.e., lower latency requirement). We formulate the Fog-RAN resource allocation problem in the form of a Markov decision process (MDP), and employ several reinforcement learning (RL) methods, namely Q-learning, SARSA, Expected SARSA, and Monte Carlo, for solving the MDP problem by learning the optimum decision-making policies. We verify the performance and adaptivity of the RL methods and compare it with the performance of a fixed-threshold-based algorithm. Extensive simulation results considering 19 IoT environments of heterogeneous latency requirements corroborate that RL methods always achieve the best possible performance regardless of the IoT environment.

研究动机与目标

• 为解决在Fog-RAN中高效分配有限雾节点（FN）资源以满足多样化物联网应用延迟需求的挑战。
• 通过决定是否在本地处理或将物联网请求卸载至云端，减少资源浪费并提升系统效用。
• 开发一种动态、自适应的决策策略，随时间学习最优资源分配。
• 在不同物联网流量模式下，评估并比较多种强化学习算法在实时、上下文感知资源分配中的表现。

提出的方法

• 将资源分配问题建模为马尔可夫决策过程（MDP），其中状态表示当前系统状态，动作表示本地处理或云端卸载的决策。
• 应用四种异策略与同策略强化学习算法——Q-learning、SARSA、Expected SARSA和蒙特卡洛方法，从与环境的交互中学习最优策略。
• 使用状态-动作值函数，基于延迟约束和系统负载，估计处理或卸载每个物联网请求的长期效用。
• 使用包含19种不同延迟需求配置的模拟物联网流量训练强化学习智能体，以捕捉异构应用需求。
• 设计奖励函数，优先考虑低延迟应用，并对资源过度使用或截止时间延误进行惩罚。
• 将学习到的策略与基于固定阈值的启发式方法进行对比，以评估其适应性和性能表现。

实验结果

研究问题

• RQ1 强化学习能否在具有异构延迟需求的物联网Fog-RAN中有效学习最优资源分配策略？
• RQ2 在不同物联网流量模式下，不同强化学习算法（Q-learning、SARSA、Expected SARSA、蒙特卡洛）在性能和收敛速度方面如何比较？
• RQ3 基于强化学习的方法是否在各种不同的物联网部署场景中始终优于固定阈值启发式方法？
• RQ4 该强化学习策略对系统负载和应用延迟分布变化的鲁棒性如何？
• RQ5 强化学习框架在边缘计算环境中对动态、实时决策的适应能力有多大？

主要发现

• 所有测试的强化学习方法——Q-learning、SARSA、Expected SARSA和蒙特卡洛——在19种具有异构延迟需求的模拟物联网环境中均实现了最优性能。
• 基于强化学习的方法在所有测试场景中均持续优于固定阈值启发式方法，展现出更优的适应性和系统效用。
• Expected SARSA表现出最稳定的训练性能，而Q-learning在大多数环境中表现出更快的收敛速度。
• 强化学习框架有效平衡了本地服务与云端卸载，最小化了延迟违规并最大化了资源利用率。
• 结果证实，强化学习能够动态学习并适应复杂、时变的物联网工作负载，而无需事先了解流量模式。
• 本研究验证了强化学习是实现Fog-RAN中URLLC增强型物联网应用实时、上下文感知资源分配的可行且稳健的解决方案。