[论文解读] SPIDER: Searching Personalized Neural Architecture for Federated Learning

Erum Mushtaq, Chaoyang He+2 more|arXiv (Cornell University)|Dec 27, 2021

Privacy-Preserving Technologies in Data被引用 7

一句话总结

SPIDER 提出了一种新颖的联邦学习框架，通过带有权重共享正则化的交替双层优化，联合优化全局超网络和客户端特定的个性化子网络。通过利用基于扰动的神经架构搜索，SPIDER 在测试准确率上优于最先进个性化方法（平均提升1.4%），并实现了更高效的推理架构。

ABSTRACT

Federated learning (FL) is an efficient learning framework that assists distributed machine learning when data cannot be shared with a centralized server due to privacy and regulatory restrictions. Recent advancements in FL use predefined architecture-based learning for all the clients. However, given that clients' data are invisible to the server and data distributions are non-identical across clients, a predefined architecture discovered in a centralized setting may not be an optimal solution for all the clients in FL. Motivated by this challenge, in this work, we introduce SPIDER, an algorithmic framework that aims to Search Personalized neural architecture for federated learning. SPIDER is designed based on two unique features: (1) alternately optimizing one architecture-homogeneous global model (Supernet) in a generic FL manner and one architecture-heterogeneous local model that is connected to the global model by weight sharing-based regularization (2) achieving architecture-heterogeneous local model by a novel neural architecture search (NAS) method that can select optimal subnet progressively using operation-level perturbation on the accuracy value as the criterion. Experimental results demonstrate that SPIDER outperforms other state-of-the-art personalization methods, and the searched personalized architectures are more inference efficient.

研究动机与目标

• 通过支持客户端特定的神经架构搜索，解决联邦学习中的数据异构性和数据不可见性问题。
• 设计一种隐私保护框架，确保个性化架构不被共享给服务器。
• 在仅优化的个性化方法之外，进一步提升模型性能与推理效率。
• 开发一种可扩展的交替训练流程，联合优化全局模型与个性化本地模型。
• 证明架构个性化在非独立同分布（non-IID）客户端数据分布下可带来更好的泛化性与鲁棒性。

提出的方法

• SPIDER 采用双模型架构：从 DARTS 搜索空间初始化的共享全局超网络与客户端特定的本地子网络。
• 该框架采用交替双层优化：全局超网络通过标准 FedAvg 更新，而本地模型则通过基于扰动的 NAS 进行架构搜索训练。
• 在全局超网络与本地子网络之间应用基于权重共享的正则化，以稳定训练并实现知识迁移。
• SPIDER-Searcher 通过扰动操作级准确率值，执行渐进式架构搜索，为每个客户端选择最优子网络。
• 训练过程分为三个阶段：超网络预训练、架构搜索与微调，期间通过恢复轮次稳定搜索过程。
• 通过 FLOPs 和估计模型大小评估模型效率，结果显示搜索后计算与内存使用显著降低。

实验结果

研究问题

• RQ1 与仅优化的个性化方法相比，个性化神经架构搜索是否能在非独立同分布（non-IID）联邦学习设置中提升性能？
• RQ2 如何在保护客户端数据隐私、避免模型共享的前提下实现架构个性化？
• RQ3 通过操作级扰动的渐进式架构搜索，是否能生成在联邦学习中更高效、更准确的模型？
• RQ4 权重共享正则化是否能有效对齐联邦学习中联合训练时的全局与本地模型更新？
• RQ5 与最先进的个性化基线方法（如 Ditto、perFedAvg 和本地微调）相比，SPIDER 在准确率、鲁棒性与推理效率方面表现如何？

主要发现

• 在 Dirichlet 非独立同分布数据设置的跨边缘联邦学习场景中，SPIDER 在 8 个客户端上的平均测试准确率比性能第二好的基线 perFedAvg 提高 1.4%。
• 在 8 个客户端中，有 7 个客户端的性能优于 perFedAvg，仅客户端 0 的表现略优于 perFedAvg。
• SPIDER 的客户端准确率标准差为 0.02，与 perFedAvg 和本地微调一致，优于 Ditto（0.03），表明其性能高度一致。
• 在搜索过程中，每轮平均 FLOPs 从 319M 降低至 62M，显示出显著的计算效率提升。
• SPIDER 最终架构的估计模型大小为 14MB，显著低于超网络（104MB）和 ResNet18（44MB），表明其具有极高的推理效率。
• SPIDER 搜索到的架构更具参数效率，模型参数量从 190 万降低至 34.5 万，有利于在资源受限环境中部署。