[论文解读] Reinforcement Learning Based Orchestration for Elastic Services

Mauricio Fadel Argerich, Bin Cheng+1 more|arXiv (Cornell University)|Apr 26, 2019

IoT and Edge/Fog Computing参考文献 9被引用 4

一句话总结

本文提出了一种基于强化学习（RL）的编排框架，用于弹性服务在边缘计算环境中的动态适应，以应对不断变化的执行上下文。通过试错交互学习最优配置策略，该方法在精度上比基于启发式的方法高出10–25%，计算开销降低25%，且服务本身的运行时开销低于0.5%。

ABSTRACT

Due to the highly variable execution context in which edge services run, adapting their behavior to the execution context is crucial to comply with their requirements. However, adapting service behavior is a challenging task because it is hard to anticipate the execution contexts in which it will be deployed, as well as assessing the impact that each behavior change will produce. In order to provide this adaptation efficiently, we propose a Reinforcement Learning (RL) based Orchestration for Elastic Services. We implement and evaluate this approach by adapting an elastic service in different simulated execution contexts and comparing its performance to a Heuristics based approach. We show that elastic services achieve high precision and requirement satisfaction rates while creating an overhead of less than 0.5% to the overall service. In particular, the RL approach proves to be more efficient than its rule-based counterpart; yielding a 10 to 25% higher precision while being 25% less computationally expensive.

研究动机与目标

• 解决在异构、资源受限且工作负载不可预测的边缘环境中动态适应服务行为的挑战。
• 减少对预定义启发式规则的依赖，这些规则可能无法在多样化执行上下文中泛化。
• 实现自适应服务编排，通过经验学习最优配置，同时提升精度和延迟满足度。
• 在模拟的边缘场景中，评估基于RL的编排性能与基于启发式方法的对比。
• 证明基于RL的编排能够以极低的运行时开销实现高需求满足度。

提出的方法

• 该方法将服务自适应建模为马尔可夫决策过程（MDP），将状态定义为系统和工作负载条件，动作定义为配置参数的变更，奖励定义为精度和延迟满足度的函数。
• 采用表格型Q-learning算法训练智能体，使其基于观察到的状态选择能最大化累积奖励的动作。
• 状态空间包括CPU可用性、每帧中的面部数量以及网络状况；动作包括调整图像分辨率、预处理步骤和模型推理设置。
• 奖励函数在高精度（准确检测）与低延迟（满足SLO）之间取得平衡，对端到端响应时间约束的违反施加惩罚。
• 系统在模拟环境中进行评估，使用真实世界的视频分析工作负载，包括Lost Child应用程序，在不同负载和硬件条件下进行测试。
• 性能与基于启发式规则的编排策略进行对比，后者采用固定规则进行配置变更。

实验结果

研究问题

• RQ1 强化学习能否有效学习弹性服务在动态边缘环境中的最优配置策略？
• RQ2 在精度和延迟满足度方面，基于RL的编排与基于启发式的方法相比表现如何？
• RQ3 基于RL的编排机制相对于整体服务执行的运行时开销是多少？
• RQ4 RL智能体在CPU可用性等系统资源突然变化时，能多快实现适应？
• RQ5 该RL方法是否能在无需手动重新配置的情况下，泛化到多样化的工作负载和硬件配置？

主要发现

• 在所有测试工作负载中，包括随机、全天和可变负载模式，基于RL的编排在精度上比基于启发式的方案高出10–25%。
• 在高负载下，基于RL的方法保持了94.72%的延迟满足率，优于启发式方法在相同场景下的79.06%。
• 在Intel Core i5上，基于RL的系统将计算开销降低至0.30%，在Raspberry Pi 3 B+上也为0.30%，而基于启发式的方法为0.42%。
• 当在第485步出现CPU可用性下降时，RL智能体在30步内完成适应，精度略有下降但保持了延迟合规性。
• 当CPU可用性在第515步恢复时，系统迅速恢复高精度配置，展示了快速而有效的适应能力。
• 基于RL的方法比启发式方法减少了25%的执行时间，表明计算效率更高。