[论文解读] Training Machine Learning models at the Edge: A Survey

Aymen Rayane Khouas, Mohamed Reda Bouadjenek+2 more|arXiv (Cornell University)|Mar 5, 2024

Machine Learning and Data Classification被引用 7

一句话总结

本综述分析如何在边缘进行机器学习模型训练（边缘学习），比较分布式与设备端方法，并概述技术、指标、框架及未来方向。

ABSTRACT

Edge computing has gained significant traction in recent years, promising enhanced efficiency by integrating artificial intelligence capabilities at the edge. While the focus has primarily been on the deployment and inference of Machine Learning (ML) models at the edge, the training aspect remains less explored. This survey, explores the concept of edge learning, specifically the optimization of ML model training at the edge. The objective is to comprehensively explore diverse approaches and methodologies in edge learning, synthesize existing knowledge, identify challenges, and highlight future trends. Utilizing Scopus and Web of science advanced search, relevant literature on edge learning was identified, revealing a concentration of research efforts in distributed learning methods, particularly federated learning. This survey further provides a guideline for comparing techniques used to optimize ML for edge learning, along with an exploration of the different frameworks, libraries, and simulation tools available. In doing so, the paper contributes to a holistic understanding of the current landscape and future directions in the intersection of edge computing and machine learning, paving the way for informed comparisons between optimization methods and techniques designed for training on the edge.

研究动机与目标

• 定义边缘学习和边缘设备，并将本综述在现有工作中的定位。
• 明确边缘训练ML模型的需求和指标。
• 调研并比较用于实现、优化及加速边缘学习的技术。
• 探讨不同类型的ML（无监督、强化学习等）如何与边缘学习结合。
• 评述用于边缘学习的工具、框架、库和仿真器。
• 突出边缘学习中的应用场景和未来的研究方向。

提出的方法

• 将边缘学习技术分为四类：分布式/协作、自适应微调、模型压缩，以及其他优化。
• 详细介绍联邦学习（FL）和分割学习（SL）及其变体和挑战。
• 描述边缘环境中的迁移学习、增量学习和元学习。
• 讨论用于边缘训练的模型压缩技术，如知识蒸馏、量化和剪枝。
• 给出边缘学习（EL）的需求/指标，包括计算、内存、带宽和能量方面的考虑。
• 总结支持边缘学习的框架、库和仿真工具。

实验结果

研究问题

• RQ1 在边缘训练ML模型的主要技术及其权衡是什么？
• RQ2 哪些指标和需求最能体现有效的边缘学习？
• RQ3 分布式与设备端学习在边缘训练中的比较如何？
• RQ4 如何在边缘环境中利用迁移学习、增量学习和元学习？
• RQ5 哪些工具和框架支持边缘学习，并在实践中如何使用？

主要发现

• 边缘学习依赖分布式与设备端方法来应对资源约束和数据隐私问题。
• 联邦学习和分割学习是核心的分布式技术，其变体解决非IID数据和通信成本等问题。
• 自适应技术如迁移学习、增量学习和元学习使设备端训练在数据和计算量减少的情况下成为可能。
• 模型压缩方法如知识蒸馏和量化被用于减轻边缘设备上的训练压力。
• 多种框架、库和仿真工具支持边缘学习及其评估。
• 本综述概述了开放挑战并预测了边缘计算结合ML的未来趋势。