[论文解读] Online Service Migration in Mobile Edge with Incomplete System Information: A Deep Recurrent Actor-Critic Learning Approach

Jin Wang, Jia Hu+3 more|arXiv (Cornell University)|Dec 16, 2020

IoT and Edge/Fog Computing参考文献 29被引用 4

一句话总结

本文提出DRACM，一种面向移动边缘计算中不完全系统信息环境下在线服务迁移的用户中心深度强化学习方法。通过将问题建模为部分可观测马尔可夫决策过程（POMDP），并结合新型LSTM-嵌入编码器与截断优势的异策略演员-critic算法，DRACM在多种真实移动场景下实现了稳定训练与近似最优性能。

ABSTRACT

Multi-access Edge Computing (MEC) is an emerging computing paradigm that extends cloud computing to the network edge to support resource-intensive applications on mobile devices. As a crucial problem in MEC, service migration needs to decide how to migrate user services for maintaining the Quality-of-Service when users roam between MEC servers with limited coverage and capacity. However, finding an optimal migration policy is intractable due to the dynamic MEC environment and user mobility. Many existing studies make centralized migration decisions based on complete system-level information, which is time-consuming and also lacks desirable scalability. To address these challenges, we propose a novel learning-driven method, which is user-centric and can make effective online migration decisions by utilizing incomplete system-level information. Specifically, the service migration problem is modeled as a Partially Observable Markov Decision Process (POMDP). To solve the POMDP, we design a new encoder network that combines a Long Short-Term Memory (LSTM) and an embedding matrix for effective extraction of hidden information, and further propose a tailored off-policy actor-critic algorithm for efficient training. The extensive experimental results based on real-world mobility traces demonstrate that this new method consistently outperforms both the heuristic and state-of-the-art learning-driven algorithms and can achieve near-optimal results on various MEC scenarios.

研究动机与目标

• 解决在系统级信息不完全条件下多接入边缘计算（MEC）中的在线服务迁移挑战。
• 克服集中式、信息完备的迁移方法在动态、移动环境中面临的可扩展性与延迟限制。
• 开发一种去中心化、无需模型的强化学习方法，使移动用户能够自主做出有效迁移决策，且对人工经验依赖极低。
• 在具有连续状态空间和动态用户移动性的复杂MEC环境中，稳定训练并提升性能。
• 通过离线策略训练实现实时在线迁移决策，同时最小化与实际MEC环境的直接交互。

提出的方法

• 将服务迁移问题建模为部分可观测马尔可夫决策过程（POMDP），以捕捉复杂系统动态与信息不完全性。
• 设计一种结合长短期记忆网络（LSTM）与嵌入矩阵的混合编码器网络，从历史部分观测中提取隐状态表征。
• 提出一种定制的异策略演员-critic强化学习算法，采用截断优势目标函数，以稳定训练并提升样本效率。
• 将策略训练（离线）与推理（在线）解耦，实现实时迁移决策，无需与实际MEC系统直接交互。
• 采用端到端深度强化学习，直接从原始环境观测中学习迁移策略，最大限度减少对手工启发式规则的依赖。
• 利用真实世界移动轨迹进行训练与评估，确保方法在多样化移动模式与MEC部署场景下的泛化能力。

实验结果

研究问题

• RQ1 无模型、以用户为中心的深度强化学习方法是否能有效应对信息不完全的MEC环境中在线服务迁移？
• RQ2 与启发式方法及最先进学习基基线相比，所提出的DRACM方法在服务质量（QoS）与迁移成本方面的表现如何？
• RQ3 在POMDP设置下，LSTM与嵌入层的融合在表征部分历史观测方面提升了多少？
• RQ4 在连续状态MEC环境中，与现有基于Q-learning的方法相比，异策略演员-critic框架中采用截断优势目标函数是否带来更稳定高效的训练？
• RQ5 DRACM框架是否能在与实际MEC系统交互极少的情况下，实现近似最优性能并支持在线决策？

主要发现

• 在多种真实世界移动场景下，DRACM在服务迁移成本与QoS维持方面持续优于启发式方法与最先进学习驱动基线。
• 该方法实现了近似最优性能，展现出在不同MEC部署配置与用户移动模式下的强大泛化能力。
• 采用LSTM-嵌入编码器可有效从不完整观测历史中提取隐藏的时间依赖关系，提升决策准确性。
• 异策略演员-critic算法中引入的截断优势目标函数显著提升了训练稳定性，优于独立的Q-learning基线。
• 策略网络的离线训练使在线推理延迟极低，使该方法在移动设备上具备实际实时部署可行性。
• 该框架成功实现训练与在线运行的解耦，降低了与实际MEC环境直接交互的成本与风险。