[论文解读] Resource Allocation for Edge Computing in IoT Networks via Reinforcement Learning

Xiaolan Liu, Zhijin Qin+1 more|arXiv (Cornell University)|Mar 5, 2019

IoT and Edge/Fog Computing参考文献 16被引用 11

一句话总结

本文提出了一种基于epsilon-greedy Q-learning的物联网边缘计算任务卸载算法，通过动态决策是否根据实时信道状况、任务队列状态和终端设备剩余计算资源来最小化能耗与任务执行延迟的加权和。仿真结果表明，与本地计算或纯边缘计算模式相比，该方法在能效与延迟之间实现了更优的权衡。

ABSTRACT

In this paper, we consider resource allocation for edge computing in internet of things (IoT) networks. Specifically, each end device is considered as an agent, which makes its decisions on whether offloading the computation tasks to the edge devices or not. To minimise the long-term weighted sum cost which includes the power consumption and the task execution latency, we consider the channel conditions between the end devices and the gateway, the computation task queue as well as the remaining computation resource of the end devices as the network states. The problem of making a series of decisions at the end devices is modelled as a Markov decision process and solved by the reinforcement learning approach. Therefore, we propose a near optimal task offloading algorithm based on Q-learning. Simulations validate the feasibility of our proposed algorithm, which achieves a better trade-off between the power consumption and the task execution latency compared to these of edge computing and local computing modes.

研究动机与目标

• 为解决云中心化计算中资源受限的物联网终端设备面临的高延迟与高能耗问题。
• 设计一种能够适应时变信道条件、任务队列动态变化以及终端设备计算资源可用性的动态任务卸载策略。
• 最小化边缘计算环境中能耗与任务执行延迟的长期加权和。
• 开发一种无需预先掌握环境统计信息的强化学习解决方案。
• 评估实际物联网部署中能效与低延迟处理之间的权衡。

提出的方法

• 将任务卸载决策建模为马尔可夫决策过程（MDP），其中每个终端设备作为独立智能体。
• 定义状态空间，包含信道质量、任务队列长度以及终端设备的剩余计算容量。
• 采用带有epsilon-greedy探索的Q-learning算法，学习最优卸载决策策略。
• 将奖励函数定义为任务执行延迟倒数与能耗的加权和，以平衡两项目标。
• 使用函数逼近器处理大规模或连续状态空间中的状态-动作值估计。
• 通过智能体与环境的迭代交互进行训练，基于观测到的奖励和状态转移更新Q值。

实验结果

研究问题

• RQ1 在时变信道条件和有限设备资源下，如何优化物联网边缘网络中的动态任务卸载？
• RQ2 在物联网边缘计算中，能耗与任务执行延迟之间的最优权衡是什么？
• RQ3 强化学习能否在不依赖系统动态完整知识的前提下，有效学习近似最优的卸载策略？
• RQ4 剩余计算资源和任务队列状态如何在实时中影响卸载决策？
• RQ5 与固定策略（如本地计算或仅边缘计算）相比，所提方法在性能上表现如何？

主要发现

• 所提出的基于Q-learning的算法在15个时间周期内收敛至稳定的平均成本，表明策略学习具有可靠性。
• 所提方案的累积能耗低于边缘计算模式，但高于本地计算模式，反映出对发射功率的高效利用。
• 所提方案的任务执行延迟低于本地计算模式，但高于边缘计算模式，表现出良好的平衡性能。
• 该算法在能耗与延迟之间的权衡优于两种基线模式，尤其当权重因子β=0.5时表现更优。
• 本地计算模式因终端设备计算资源耗尽而提前结束，凸显了在高负载下本地执行的风险。
• 边缘计算模式在任务传输失败时提前终止，表明其对信道中断具有脆弱性。