[论文解读] Online Learning for Offloading and Autoscaling in Renewable-Powered Mobile Edge Computing

Jie Xu, Shaolei Ren|arXiv (Cornell University)|Sep 16, 2016

IoT and Edge/Fog Computing参考文献 11被引用 8

一句话总结

本文提出了一种基于事后状态（PDS）的在线强化学习算法，用于可再生能源供电的移动边缘计算系统中的联合工作负载卸载与边缘服务器自动扩展。通过分解值迭代并利用问题结构，该方法实现了更快的收敛速度和更低的长期系统成本——相比基准方法成本降低超过25%，同时能够动态适应可再生能源和工作负载的不确定性变化。

ABSTRACT

Mobile edge computing (a.k.a. fog computing) has recently emerged to enable \emph{in-situ} processing of delay-sensitive applications at the edge of mobile networks. Providing grid power supply in support of mobile edge computing, however, is costly and even infeasible (in certain rugged or under-developed areas), thus mandating on-site renewable energy as a major or even sole power supply in increasingly many scenarios. Nonetheless, the high intermittency and unpredictability of renewable energy make it very challenging to deliver a high quality of service to users in renewable-powered mobile edge computing systems. In this paper, we address the challenge of incorporating renewables into mobile edge computing and propose an efficient reinforcement learning-based resource management algorithm, which learns on-the-fly the optimal policy of dynamic workload offloading (to centralized cloud) and edge server provisioning to minimize the long-term system cost (including both service delay and operational cost). Our online learning algorithm uses a decomposition of the (offline) value iteration and (online) reinforcement learning, thus achieving a significant improvement of learning rate and run-time performance when compared to standard reinforcement learning algorithms such as Q-learning.

研究动机与目标

• 解决在移动边缘计算系统中管理高度间歇性和不可预测的可再生能源的挑战。
• 在能源和工作负载条件不确定的情况下，最小化长期系统成本，包括服务延迟和运行成本。
• 设计一种实时、自适应的资源管理策略，联合优化工作负载卸载与边缘服务器资源配置。
• 克服标准强化学习（如Q-learning）在大规模状态空间中收敛缓慢和计算成本高的问题。
• 实现在无需事先了解系统动态或统计分布的情况下，在线学习最优策略。

提出的方法

• 将联合卸载与自动扩展问题建模为马尔可夫决策过程（MDP），其中状态包含工作负载、网络拥塞、电池电量和绿色能源可用性等信息。
• 提出一种事后状态（PDS）框架，将决策过程与可再生能源和系统状态的随机实现解耦。
• 采用基于PDS的值函数近似方法，通过利用问题的特殊结构来加速学习，并降低状态空间的复杂度。
• 应用在线时序差分学习，并满足学习率条件以确保收敛到最优策略。
• 设计一种奖励函数，综合考虑服务延迟和运行成本，并通过参数调节反映现实世界中的权衡。
• 实现一种动态策略更新机制，能够从系统反馈中实时学习，无需离线训练或预先建立系统模型。

实验结果

研究问题

• RQ1 强化学习算法如何在可再生能源供应不确定的条件下，实时高效地学习最优卸载与自动扩展策略？
• RQ2 与标准Q-learning相比，通过PDS利用问题结构在大规模MDP中能在多大程度上提升学习速度和性能？
• RQ3 与固定功率和短视优化策略相比，所提算法在长期成本和适应性方面表现如何？
• RQ4 能源和工作负载的时间相关性对系统成本有何影响？该算法在长期优化中对此类相关性捕捉得如何？
• RQ5 在动态条件下，该算法能否实现高能量采集效率，避免能量浪费或服务器资源配置不足？

主要发现

• 在第1000个时隙，基于PDS的学习算法相比第二好的基准方案，长期系统成本降低超过25%，显著优于Q-learning和固定功率方案。
• 由于对值迭代过程进行了结构化分解，该算法收敛更快，运行时性能优于Q-learning。
• 所学习的策略具有高度自适应性：当电池电量较低且预计工作负载将上升时，会保守使用本地计算能力，以保留能量供未来高需求时段使用。
• 短视优化表现不佳，因为它忽略了时间相关性，导致过早消耗能量，从而增加长期成本。
• 固定功率方案对参数选择极为敏感；设置不当会导致能量浪费（高电池状态）或资源不足（低电池状态）。
• 基于PDS的算法实现了最高的能量采集效率，电池状态分布表明其在各时隙中均实现了最优利用。