[论文解读] Resource-Aware Heterogeneous Federated Learning using Neural Architecture Search

Sixing Yu, Muñoz, J. Pablo+1 more|arXiv (Cornell University)|Nov 9, 2022

Privacy-Preserving Technologies in Data被引用 6

一句话总结

本文提出资源感知联邦学习（RaFL），一种新颖的框架，利用神经架构搜索（NAS）在异构边缘设备上部署定制化、资源高效的模型架构。通过将NAS与知识蒸馏及多模型融合相结合，RaFL在保持高准确率的同时，相较于最先进（SoTA）方法，实现了更优的收敛性、3.23倍的模型复杂度降低以及1260 GB的通信成本减少，且在数据与系统异构性条件下表现优异。

ABSTRACT

Federated Learning (FL) is extensively used to train AI/ML models in distributed and privacy-preserving settings. Participant edge devices in FL systems typically contain non-independent and identically distributed (Non-IID) private data and unevenly distributed computational resources. Preserving user data privacy while optimizing AI/ML models in a heterogeneous federated network requires us to address data and system/resource heterogeneity. To address these challenges, we propose Resource-aware Federated Learning (RaFL). RaFL allocates resource-aware specialized models to edge devices using Neural Architecture Search (NAS) and allows heterogeneous model architecture deployment by knowledge extraction and fusion. Combining NAS and FL enables on-demand customized model deployment for resource-diverse edge devices. Furthermore, we propose a multi-model architecture fusion scheme allowing the aggregation of the distributed learning results. Results demonstrate RaFL's superior resource efficiency compared to SoTA.

研究动机与目标

• 解决联邦学习中系统与数据异构性带来的挑战，即边缘设备具有不同的计算资源和非独立同分布（non-IID）的数据分布。
• 通过部署针对设备的、接近最优的神经网络架构，而非在所有客户端上使用统一模型，以提升资源利用率。
• 通过引入轻量级知识网络进行模型聚合，降低大规模联邦学习中的通信开销。
• 通过双知识蒸馏与多模型聚合，实现异构模型架构间的有效知识融合。
• 在资源受限设备上实现高收敛准确率与推理速度，同时最小化能耗。

提出的方法

• 将神经架构搜索（NAS）集成到联邦学习流程中，根据本地计算约束生成资源感知的、客户端特定的子网络。
• 部署一个共享的、小型的学生网络作为全局知识媒介，以统一异构客户端之间的知识迁移标准。
• 通过客户端特定模型与其对应学生网络之间的深度互学习，增强知识共享与模型鲁棒性。
• 采用集成蒸馏的多模型架构融合方法，聚合本地知识并提升全局模型性能。
• 利用超网络池高效生成多样化、低复杂度的架构，以适配每个客户端的计算能力。
• 支持与迁移学习、公开数据及集成方法的灵活集成，以增强可扩展性与鲁棒性。

实验结果

研究问题

• RQ1 NAS能否有效集成到联邦学习中，以生成客户端特定的、资源高效的模型架构？
• RQ2 通过知识蒸馏实现的异构模型部署，在非IID与系统异构的联邦学习环境中，如何影响收敛性与准确率？
• RQ3 在不同资源约束条件下，RaFL相较于最先进联邦学习方法，能在多大程度上减少通信开销？
• RQ4 当客户端计算能力存在显著差异时，RaFL如何维持高准确率与稳定性？
• RQ5 集成蒸馏与多模型融合能否提升异构联邦学习中全局模型的鲁棒性与泛化能力？

主要发现

• 在CIFAR-100数据集上，RaFL使用ResNet实现了65%的准确率，显著优于FedNova（43%）与FedAvg（40%），尽管其模型容量小得多。
• 与最先进基线相比，RaFL将总通信成本降低了1260 GB，充分展现了在大规模联邦学习场景下的显著效率优势。
• RaFL的平均模型容量为47 MFLOPs，较基线降低3.23倍，同时在极端资源异构性条件下仍保持高性能。
• 在低端设备上，RaFL实现了96%的资源利用率，在高端设备上达到90%，在相同约束下较基线提升13.3%的利用率效率。
• 在包含3000个客户端的大规模FEMNIST实验中，RaFL在测试准确率上与FedAvg持平，同时将通信开销减少了50%以上。
• 即使客户端间计算能力差异最高达2倍，RaFL仍表现出稳定的收敛性与相似的学习趋势，证明了其对系统异构性的强鲁棒性。