[论文解读] Task Allocation for Asynchronous Mobile Edge Learning with Delay and Energy Constraints

Umair Mohammad, Sameh Sorour+1 more|arXiv (Cornell University)|Nov 30, 2020

Age of Information Optimization被引用 6

一句话总结

本文提出了一种异构感知的异步任务分配（HA-Asyn）方案，用于移动边缘学习，旨在严格延迟和能耗约束下优化边缘设备上的模型训练。通过建立QCILP模型并采用两步建议-优化算法，HA-Asyn在收敛速度和准确率方面均优于同步和等批量方案，尤其在低资源条件下表现更优，最快可提升25%。

ABSTRACT

This paper extends the paradigm of "mobile edge learning (MEL)" by designing an optimal task allocation scheme for training a machine learning model in an asynchronous manner across mutiple edge nodes or learners connected via a resource-constrained wireless edge network. The optimization is done such that the portion of the task allotted to each learner is completed within a given global delay constraint and a local maximum energy consumption limit. The time and energy consumed are related directly to the heterogeneous communication and computational capabilities of the learners; i.e. the proposed model is heterogeneity aware (HA). Because the resulting optimization is an NP-hard quadratically-constrained integer linear program (QCILP), a two-step suggest-and-improve (SAI) solution is proposed based on using the solution of the relaxed synchronous problem to obtain the solution to the asynchronous problem. The proposed HA asynchronous (HA-Asyn) approach is compared against the HA synchronous (HA-Sync) scheme and the heterogeneity unaware (HU) equal batch allocation scheme. Results from a system of 20 learners tested for various completion time and energy consumption constraints show that the proposed HA-Asyn method works better than the HU synchronous/asynchronous (HU-Sync/Asyn) approach and can provide gains of up-to 25\\% compared to the HA-Sync scheme.

研究动机与目标

• 解决在计算、通信和能耗受限的异构无线边缘网络中高效训练机器学习模型的挑战。
• 设计一种任务分配方案，尊重各设备在计算、通信和能耗方面的个体约束，同时满足全局延迟要求。
• 通过支持受控延迟的异步更新，提升分布式学习中的模型准确率和收敛速度。
• 在真实边缘部署约束下，超越现有同步和等批量分配方案的性能表现。
• 基于资源可用性，提供在异步与同步方案之间进行选择的决策框架。

提出的方法

• 将任务分配问题建模为带有二次约束的整数线性规划（QCILP），以平衡延迟与能耗约束。
• 提出一种两步建议-优化（SAI）算法，利用松弛后的同步解作为初始解，并进一步优化异步解。
• 通过将各设备的通信与计算能力纳入优化框架，建模设备异构性。
• 通过参数c控制模型延迟程度，限制学习者之间最大更新时间差。
• 在大规模仿真中使用MNIST数据集，评估不同延迟（T）和能耗（E）约束下的性能表现。
• 在使用HA-Asyn方案时，将延迟参数c作为超参数，结合交叉验证进行调优。

实验结果

研究问题

• RQ1 如何在移动边缘学习中优化任务分配，以满足全局延迟和个体能耗约束？
• RQ2 与同步或等批量分配相比，采用异步更新策略能带来多大的性能提升？
• RQ3 设备异构性如何影响边缘学习中任务分配的设计与有效性？
• RQ4 在何种条件下，异步学习在收敛速度和准确率方面优于同步学习？
• RQ5 基于资源可用性，选择同步与异步任务分配的最优策略是什么？

主要发现

• HA-Asyn方案相比HA-Sync方案最快可提升25%的收敛速度，在T=25秒、E=20焦耳条件下，实现97.3%准确率时训练时间减少25秒。
• 在T=10秒、E=10焦耳条件下，HA-Asyn在7轮全局更新内达到95%准确率，而HA-Sync需要9轮，训练时间减少22.2%。
• 在T=20秒、E=10焦耳条件下，HA-Asyn在6轮更新后达到95.4%准确率，而HA-Sync未能达到94%。
• 在E=20焦耳、T=20秒条件下，HA-Asyn在c=1-3时达到97%准确率，而HA-Sync未达到该性能水平。
• 在低能耗与中等延迟场景下，HA-Asyn在最终验证准确率方面始终优于HA-Sync与HU方案。
• HA-Sync方案仅在中等资源区域或资源均充足时表现最佳，尤其在高准确率目标（如97.2%）下表现突出。