[论文解读] Splitfed learning without client-side synchronization: Analyzing client-side split network portion size to overall performance

Praveen Joshi, Chandra Thapa+4 more|arXiv (Cornell University)|Sep 19, 2021

Privacy-Preserving Technologies in Data参考文献 11被引用 11

一句话总结

本文提出多头分割学习（MHSL），一种SplitFed学习的变体，通过消除客户端模型同步以减少通信和计算开销。在ResNet-18与MNIST上的实验结果表明，MHSL的性能与SFL相当，仅出现1%-2%的准确率下降，且在各种客户端分割配置下对模型准确率的影响极小。

ABSTRACT

Federated Learning (FL), Split Learning (SL), and SplitFed Learning (SFL) are three recent developments in distributed machine learning that are gaining attention due to their ability to preserve the privacy of raw data. Thus, they are widely applicable in various domains where data is sensitive, such as large-scale medical image classification, internet-of-medical-things, and cross-organization phishing email detection. SFL is developed on the confluence point of FL and SL. It brings the best of FL and SL by providing parallel client-side machine learning model updates from the FL paradigm and a higher level of model privacy (while training) by splitting the model between the clients and server coming from SL. However, SFL has communication and computation overhead at the client-side due to the requirement of client-side model synchronization. For the resource-constrained client-side, removal of such requirements is required to gain efficiency in the learning. In this regard, this paper studies SFL without client-side model synchronization. The resulting architecture is known as Multi-head Split Learning. Our empirical studies considering the ResNet18 model on MNIST data under IID data distribution among distributed clients find that Multi-head Split Learning is feasible. Its performance is comparable to the SFL. Moreover, SFL provides only 1%-2% better accuracy than Multi-head Split Learning on the MNIST test set. To further strengthen our results, we study the Multi-head Split Learning with various client-side model portions and its impact on the overall performance. To this end, our results find a minimal impact on the overall performance of the model.

研究动机与目标

• 解决SplitFed学习（SFL）中因客户端模型同步导致的高通信与计算开销问题。
• 通过消除客户端侧的同步需求，实现在资源受限环境下的高效联邦学习。
• 探究在无客户端聚合的情况下，以去中心化方式训练分割模型的可行性。
• 评估客户端模型部分大小变化对整体模型性能的影响。
• 探索基于客户端设备能力实现动态模型分割的潜力，同时保持模型性能无显著下降。

提出的方法

• 提出多头分割学习（MHSL），一种新型架构，通过消除SplitFed学习中客户端的模型聚合与同步，提升效率。
• 将ResNet-18模型分解为客户端部分与服务器端部分，客户端部分从第一个卷积层开始。
• 在无客户端间权重同步的情况下，平行训练多个客户端模型，依赖独立更新。
• 由中心化服务器聚合梯度并更新服务器端模型，而客户端独立更新其本地客户端模型部分。
• 实现多头机制，使每个客户端维护其自身的客户端模型头，从而无需客户端间同步。
• 在网络的不同分割点（从第1层到第9层）评估性能，以评估模型分割的敏感性。

实验结果

研究问题

• RQ1 是否可以在无客户端模型同步的情况下有效执行SplitFed学习？
• RQ2 当移除客户端聚合后，MHSL与SFL的性能相比如何？
• RQ3 客户端模型部分大小变化（即不同分割层）对整体模型准确率的影响如何？
• RQ4 在不同模型分割策略下，移除同步是否会导致显著性能下降？
• RQ5 MHSL是否能够基于设备能力动态分配模型层，同时不牺牲模型性能？

主要发现

• MHSL具有可行性，且性能与SFL相当，MNIST数据集上测试准确率仅下降1%-2%。
• 在MNIST上，当模型在第一层分割时，MHSL的测试准确率为97.23%，而SFL在客户端聚合下的准确率为98.54%。
• 在所有测试的分割层（L1至L9）中，MHSL保持一致的性能，测试准确率在96.71%至97.19%之间波动极小。
• SFL在所有分割点上表现略优于MHSL，但差距始终在1.5%以内，表明性能影响可忽略。
• 结果表明，即使在客户端模型部分大小不同时，移除客户端同步对模型收敛性和准确率的影响极小。
• MHSL支持基于客户端设备能力的动态模型分割，因性能在不同分割配置下保持稳定。