[论文解读] Multi-user Resource Control with Deep Reinforcement Learning in IoT Edge Computing

Lei Lei, Huijuan Xu+4 more|arXiv (Cornell University)|Jun 19, 2019

IoT and Edge/Fog Computing参考文献 36被引用 4

一句话总结

本文提出了一种基于深度强化学习的联合计算卸载与多用户调度算法，用于物联网边缘计算系统，以最小化长期平均加权延迟与能耗总和。通过连续时间马尔可夫决策过程（CTMDP）模型和一种新颖的神经网络架构进行价值函数近似，该方法实现了半分布式拍卖式资源控制，有效缓解了维度灾难问题，在仿真中相较于基线方法和其它深度强化学习方法取得了显著的性能提升。

ABSTRACT

By leveraging the concept of mobile edge computing (MEC), massive amount of data generated by a large number of Internet of Things (IoT) devices could be offloaded to MEC server at the edge of wireless network for further computational intensive processing. However, due to the resource constraint of IoT devices and wireless network, both the communications and computation resources need to be allocated and scheduled efficiently for better system performance. In this paper, we propose a joint computation offloading and multi-user scheduling algorithm for IoT edge computing system to minimize the long-term average weighted sum of delay and power consumption under stochastic traffic arrival. We formulate the dynamic optimization problem as an infinite-horizon average-reward continuous-time Markov decision process (CTMDP) model. One critical challenge in solving this MDP problem for the multi-user resource control is the curse-of-dimensionality problem, where the state space of the MDP model and the computation complexity increase exponentially with the growing number of users or IoT devices. In order to overcome this challenge, we use the deep reinforcement learning (RL) techniques and propose a neural network architecture to approximate the value functions for the post-decision system states. The designed algorithm to solve the CTMDP problem supports semi-distributed auction-based implementation, where the IoT devices submit bids to the BS to make the resource control decisions centrally. Simulation results show that the proposed algorithm provides significant performance improvement over the baseline algorithms, and also outperforms the RL algorithms based on other neural network architectures.

研究动机与目标

• 解决在计算与无线资源受限的多用户物联网边缘计算系统中高效资源分配的挑战。
• 在随机流量到达条件下，最小化长期平均加权延迟与能耗总和。
• 通过可扩展的深度强化学习方法，克服多用户马尔可夫决策过程（MDPs）中的维度灾难问题。
• 通过基站处的拍卖式资源控制实现半分布式部署。
• 设计一种神经网络架构，以准确近似连续时间MDP中后决策状态的价值函数。

提出的方法

• 将动态资源控制问题建模为无限时域平均奖励连续时间马尔可夫决策过程（CTMDP）。
• 引入一种仅含单个卷积层的神经网络架构，用于近似后决策系统状态的价值函数，从而降低计算复杂度。
• 采用双学习率方案：一个用于价值函数更新，另一个用于平均奖励估计，以确保收敛性。
• 使用半分布式拍卖机制，物联网设备向基站提交投标以参与资源分配决策。
• 应用具有资格迹的时序差分学习，利用与状态相关的梯度更新每个节点的价值函数和权重向量。
• 实现一个函数近似框架，对卷积层和全连接层的权重分别进行更新，使用Tanh激活函数的导数。

实验结果

研究问题

• RQ1 深度强化学习能否有效解决多用户物联网边缘计算资源控制中的维度灾难问题？
• RQ2 所提出的用于价值函数近似的神经网络架构在性能与收敛性方面相较于其他DRL架构表现如何？
• RQ3 半分布式拍卖式实现对多用户场景下的系统可扩展性与公平性有何影响？
• RQ4 与基线方法相比，该算法在多大程度上降低了长期加权延迟与能耗总和？
• RQ5 不同学习率序列如何影响所提算法的收敛性与稳定性？

主要发现

• 所提出的Neural-ICO算法在最小化长期平均加权延迟与能耗总和方面，相较于基线算法实现了显著的性能提升。
• 该算法在高维多用户环境中优于基于不同神经网络架构的其他深度强化学习方法。
• 仿真结果表明，该算法在不同流量到达模式与用户负载下均表现出稳定收敛与强鲁棒性。
• 在函数近似架构中仅使用单个卷积层即可获得最优性能，额外增加全连接层并未带来收益。
• 采用较快衰减的αk用于平均奖励估计的双学习率方案，确保了长期奖励的精确跟踪与稳定策略学习。
• 半分布式拍卖式实现使算法在真实物联网边缘网络中具备可扩展且实用的部署潜力。