[论文解读] Personalized Federated Learning for Intelligent IoT Applications: A Cloud-Edge based Framework

Qiong Wu, Kaiwen He+1 more|arXiv (Cornell University)|Feb 25, 2020

Privacy-Preserving Technologies in Data参考文献 31被引用 27

一句话总结

本文提出 PerFit，一种云边协同的联邦学习框架，通过解决设备、统计和模型异构性问题，实现智能物联网应用的个性化模型训练。通过将个性化联邦学习方法（如联邦蒸馏和迁移学习）与边缘计算相结合，PerFit 在保持通信开销较低的同时，相比标准联邦学习将准确率最高提升了 11.12%，展现出在真实物联网部署中出色的性能与可扩展性。

ABSTRACT

Internet of Things (IoT) have widely penetrated in different aspects of modern life and many intelligent IoT services and applications are emerging. Recently, federated learning is proposed to train a globally shared model by exploiting a massive amount of user-generated data samples on IoT devices while preventing data leakage. However, the device, statistical and model heterogeneities inherent in the complex IoT environments pose great challenges to traditional federated learning, making it unsuitable to be directly deployed. In this article we advocate a personalized federated learning framework in a cloud-edge architecture for intelligent IoT applications. To cope with the heterogeneity issues in IoT environments, we investigate emerging personalized federated learning methods which are able to mitigate the negative effects caused by heterogeneity in different aspects. With the power of edge computing, the requirements for fast-processing capacity and low latency in intelligent IoT applications can also be achieved. We finally provide a case study of IoT based human activity recognition to demonstrate the effectiveness of personalized federated learning for intelligent IoT applications.

研究动机与目标

• 解决传统联邦学习在物联网环境中因设备、统计和模型异构性带来的挑战。
• 在不损害数据隐私的前提下，为单个物联网设备实现高准确率的个性化模型训练。
• 利用边缘计算降低分布式物联网学习中的延迟和通信成本。
• 评估个性化联邦学习在真实物联网应用（如人体活动识别）中的有效性。
• 证明个性化可显著提升异构客户端之间的性能一致性。

提出的方法

• 提出一种云边架构，由边缘服务器负责模型聚合与个性化处理，减轻中心云的负载。
• 集成四种个性化联邦学习技术：联邦迁移学习、联邦元学习、联邦多任务学习和联邦蒸馏。
• 使用联邦蒸馏支持模型异构性，通过软标签输出传递知识，将通信负载降低至每轮 5,000（相比模型参数传输的 33,698）。
• 在边缘客户端使用轻量级模型（3NN 和 CNN），并将计算任务卸载至附近的边缘节点，以降低延迟和能耗。
• 在边缘部署隐私保护技术，如差分隐私和同态加密，以增强数据安全性。
• 利用集中式云服务器协调全局模型更新并促进知识共享，同时保持数据本地性。

实验结果

研究问题

• RQ1 在非独立同分布（non-IID）和异构数据环境下，个性化联邦学习能否提升单个物联网设备的模型准确率？
• RQ2 边缘计算在资源受限的物联网系统中如何提升联邦学习的性能与可扩展性？
• RQ3 在个性化联邦学习中，通信开销可降低至何种程度，同时仍保持高模型准确率？
• RQ4 个性化在多大程度上可缓解联邦学习中由统计和模型异构性引起的性能下降？
• RQ5 统一的云边框架能否在真实物联网应用中有效支持多种个性化联邦学习方法？

主要发现

• 通过联邦迁移学习结合 3NN，PerFit 实现了 95.37% 的测试准确率，比标准联邦学习（FL-3NN）高出 11.12%。
• 与标准联邦学习（FL-CNN）相比，联邦蒸馏（FD）将准确率提升了 5.69%，显著降低了客户端之间的性能方差。
• 箱线图分析显示，个性化联邦学习显著减少了 30 个客户端之间的准确率差异，所有客户端均在狭窄范围内保持一致的性能表现。
• 在联邦蒸馏中，通信开销被大幅降低，每轮通信负载仅为 5,000（基于输出得分），远低于模型参数传输的 33,698。
• 所有个性化联邦学习方法的准确率均超过 90%，表明其在大规模物联网应用中具备强大的鲁棒性与可扩展性。
• 该框架有效支持模型异构性，如在 FD-1 和 FD-2 配置中，客户端使用不同本地模型（3NN 或 CNN），仅造成极小的性能损失。