[论文解读] Training Latency Minimization for Model-Splitting Allowed Federated Edge Learning

Wen Yao, Guopeng Zhang+2 more|arXiv (Cornell University)|Jul 21, 2023

Privacy-Preserving Technologies in DataComputer Science被引用 3

一句话总结

该论文提出了一种允许模型分割的联邦边缘学习（SFL）框架，通过联合优化切分层选择与服务器端计算资源分配，最小化训练延迟。通过基于回归的转换方法与交替优化算法，该方法在保持与FedAvg相同的测试准确率（在MNIST上的EfficientNetV2）的同时，将训练延迟降低了57%。

ABSTRACT

To alleviate the shortage of computing power faced by clients in training deep neural networks (DNNs) using federated learning (FL), we leverage the edge computing and split learning to propose a model-splitting allowed FL (SFL) framework, with the aim to minimize the training latency without loss of test accuracy. Under the synchronized global update setting, the latency to complete a round of global training is determined by the maximum latency for the clients to complete a local training session. Therefore, the training latency minimization problem (TLMP) is modelled as a minimizing-maximum problem. To solve this mixed integer nonlinear programming problem, we first propose a regression method to fit the quantitative-relationship between the cut-layer and other parameters of an AI-model, and thus, transform the TLMP into a continuous problem. Considering that the two subproblems involved in the TLMP, namely, the cut-layer selection problem for the clients and the computing resource allocation problem for the parameter-server are relative independence, an alternate-optimization-based algorithm with polynomial time complexity is developed to obtain a high-quality solution to the TLMP. Extensive experiments are performed on a popular DNN-model EfficientNetV2 using dataset MNIST, and the results verify the validity and improved performance of the proposed SFL framework.

研究动机与目标

• 解决由于客户端计算能力有限和模型复杂度增加，导致联邦学习中训练延迟过高的挑战。
• 通过建立切分层与模型参数之间定量关系的建模，克服在分割学习中最优切分层选择的离散且高复杂度的解空间问题。
• 优化服务器端计算资源分配，以在异构客户端之间均衡工作负载，并最小化同步全局训练轮次中的瓶颈。
• 在同步全局模型更新（SGMU）设置下，最小化整体训练延迟，同时不牺牲测试准确率。
• 开发一种高效、多项式时间复杂度的算法，以实际求解由此产生的混合整数非线性规划（MINLP）问题。

提出的方法

• 提出一种回归方法，用于建模切分层位置与关键模型参数（如层数、参数量、FLOPs）之间的定量关系，将离散的切分层选择问题转化为连续优化问题。
• 将训练延迟最小化问题（TLMP）表述为一个最小化最大值问题，其中延迟由完成本地训练最慢的客户端决定。
• 将TLMP分解为两个独立的子问题：客户端的切分层选择与参数服务器（PS）的计算资源分配，从而实现交替优化。
• 设计一种基于交替优化的算法，具有多项式时间复杂度，通过迭代改进切分层选择与资源分配，确保收敛。
• 利用参数服务器的高性能计算能力，实现多个服务器端模型的并行训练，从而将计算负载从资源受限的客户端卸载。
• 将回归模型与优化框架集成，实现在大规模离散解空间中高效且可扩展的解决方案搜索。

Figure 1: The frameworks of FedAvg and SFL .

实验结果

研究问题

• RQ1 如何在保持模型准确率的前提下，优化分割学习中的切分层选择，以最小化训练延迟？
• RQ2 在异构客户端环境中，参数服务器的计算资源分配对整体训练延迟有何影响？
• RQ3 对离散切分层选择问题进行连续近似，是否能够实现在联邦边缘学习中的高效且可扩展的优化？
• RQ4 在同步全局更新下，所提出的框架与FedAvg相比，在训练延迟和测试准确率方面有何差异？
• RQ5 增加服务器端计算资源对降低训练延迟的边际收益如何？收益递减的临界点在哪里？

主要发现

• 所提出的SFL框架相比FedAvg将训练延迟降低了57%，在相同设置下，SFL单轮训练耗时410秒，而FedAvg为980秒。
• 交替优化算法在约5次迭代内收敛至稳定解，表现出较低的计算开销与快速收敛特性。
• 随着服务器端计算资源从100 G FLOPs提升至2,000 G FLOPs，训练延迟显著降低，但在此之后改进速率逐渐减缓。
• 通过SFL训练的EfficientNetV2模型在60轮全局训练后测试准确率达到0.90，与FedAvg完全一致，证实模型性能无损失。
• 基于回归的转换方法有效建模了切分层位置与计算/通信成本之间的关系，使得在原本离散的空间中实现连续优化成为可能。
• 该框架通过动态分配最优切分层与资源分配，实现了客户端间的高效负载均衡，消除了由最慢客户端引起的瓶颈。

Figure 2: The workflow of the SFL .