[论文解读] SplitGP: Achieving Both Generalization and Personalization in Federated Learning

Dong-Jun Han, Do-Yeon Kim+3 more|arXiv (Cornell University)|Dec 16, 2022

Privacy-Preserving Technologies in Data被引用 5

一句话总结

SplitGP 提出了一种新型的联邦学习拆分学习框架，将模型组件解耦为客户端（个性化）和服务器端（泛化）两部分，实现在资源受限设备上的高效、隐私保护的推理。通过联合优化个性化与泛化，SplitGP 在通信负载上相比基线降低高达 89.4%，存储减少 10.6%，准确率达到最先进水平，尤其在非独立同分布（non-IID）数据分布下表现卓越。

ABSTRACT

A fundamental challenge to providing edge-AI services is the need for a machine learning (ML) model that achieves personalization (i.e., to individual clients) and generalization (i.e., to unseen data) properties concurrently. Existing techniques in federated learning (FL) have encountered a steep tradeoff between these objectives and impose large computational requirements on edge devices during training and inference. In this paper, we propose SplitGP, a new split learning solution that can simultaneously capture generalization and personalization capabilities for efficient inference across resource-constrained clients (e.g., mobile/IoT devices). Our key idea is to split the full ML model into client-side and server-side components, and impose different roles to them: the client-side model is trained to have strong personalization capability optimized to each client's main task, while the server-side model is trained to have strong generalization capability for handling all clients' out-of-distribution tasks. We analytically characterize the convergence behavior of SplitGP, revealing that all client models approach stationary points asymptotically. Further, we analyze the inference time in SplitGP and provide bounds for determining model split ratios. Experimental results show that SplitGP outperforms existing baselines by wide margins in inference time and test accuracy for varying amounts of out-of-distribution samples.

研究动机与目标

• 解决边缘人工智能服务中联邦学习的个性化与泛化之间的根本权衡问题。
• 降低资源受限的移动设备和物联网设备在推理过程中的计算与通信开销。
• 通过避免原始数据传输至服务器，实现隐私保护的推理。
• 提供可扩展的解决方案，在分布内和分布外测试样本上均保持高准确率。
• 设计一种模型拆分策略，在数据分布变化下平衡推理效率与性能。

提出的方法

• 将完整机器学习模型拆分为两部分：用于个性化的客户端模型（φ）和用于泛化的共享服务器端模型（θ）。
• 训练客户端模型以优化每个客户端的本地数据分布，增强个性化能力。
• 训练服务器端模型以在所有客户端的分布外任务上实现泛化，提升鲁棒性。
• 采用混合推理策略：基于置信度分数阈值，在客户端预测分布内样本，在服务器端预测分布外样本。
• 引入带有超参数 λ 的损失函数，以在训练过程中平衡个性化与泛化目标。
• 分析推理时间并推导最优模型拆分比例（ρ）的边界，以最小化延迟与资源使用。

实验结果

研究问题

• RQ1 如何在联邦学习系统中同时实现对本地数据的强个性化与对分布外样本的泛化？
• RQ2 客户端与服务器之间最优的模型拆分比例（ρ）是什么，可使推理时间与资源使用最小化？
• RQ3 控制个性化与泛化之间权衡的超参数 λ 在不同数据分布偏移下如何影响模型性能？
• RQ4 置信度阈值（E_th）对客户端与服务器之间推理任务分配有何影响？
• RQ5 拆分学习框架是否能在显著降低通信与存储开销的同时，保持高准确率？

主要发现

• SplitGP 通过仅存储客户端组件 φ，使 FMNIST 的存储需求降低 10.62%，CIFAR-10 降低 10.64%。
• 在 FMNIST 上 ρ=0.8 时，SplitGP 实现最佳性能，同时仅将 20.30% 的测试样本卸载至服务器，显著减少通信量。
• 当 λ=0.2 且 ρ 在 [0,1] 上均匀分布时，SplitGP 在不同分布外比例下实现最高期望测试准确率（FMNIST 上为 84.15%）。
• 当 ρ ∈ [0,0.2] 时，λ=0.3 的性能优于其他 λ 值，表明在低分布偏移下更高的个性化权重更优。
• 在 ρ=0.2 时，仅客户端模型即达到 90.93% 的准确率，而完整模型（φ+θ）仅达 88.06%，表明 SplitGP 的混合方法优于单独使用任一组件。
• 消融实验确认，SplitGP 有效利用了客户端个性化与服务器端泛化能力，当使用最优 λ 与 E_th 设置时，性能随 ρ 增加而提升。