[论文解读] Wireless Communications for Collaborative Federated Learning

Mingzhe Chen, H. Vincent Poor+2 more|arXiv (Cornell University)|Jun 3, 2020

Privacy-Preserving Technologies in Data参考文献 14被引用 9

一句话总结

本文提出协作联邦学习（CFL），一种新型无线联邦学习框架，使边缘设备能够在不依赖中心控制器的情况下，通过去中心化的通信技术（如设备调度、网络构建、移动性管理及编码）训练共享的机器学习模型。其主要贡献在于提出了一种可显著降低通信开销、提升大规模物联网系统中隐私保护与可靠性的框架，其中基于量化编码的方法仅使用每个模型参数4比特即可实现接近最优的准确率。

ABSTRACT

Internet of Things (IoT) services will use machine learning tools to efficiently analyze various types of data collected by IoT devices for inference, autonomy, and control purposes. However, due to resource constraints and privacy challenges, edge IoT devices may not be able to transmit their collected data to a central controller for training machine learning models. To overcome this challenge, federated learning (FL) has been proposed as a means for enabling edge devices to train a shared machine learning model without data exchanges thus reducing communication overhead and preserving data privacy. However, Google's seminal FL algorithm requires all devices to be directly connected with a central controller, which significantly limits its application scenarios. In this context, this paper introduces a novel FL framework, called collaborative FL (CFL), which enables edge devices to implement FL with less reliance on a central controller. The fundamentals of this framework are developed and then, a number of communication techniques are proposed so as to improve the performance of CFL. To this end, an overview of centralized learning, Google's seminal FL, and CFL is first presented. For each type of learning, the basic architecture as well as its advantages, drawbacks, and usage conditions are introduced. Then, three CFL performance metrics are presented and a suite of communication techniques ranging from network formation, device scheduling, mobility management, and coding is introduced to optimize the performance of CFL. For each technique, future research opportunities are also discussed. In a nutshell, this article will showcase how the proposed CFL framework can be effectively implemented at the edge of large-scale wireless systems such as the Internet of Things.

研究动机与目标

• 解决传统联邦学习（FL）依赖所有设备直接连接至中心控制器的局限性，该方式在大规模或动态的物联网环境中不切实际。
• 通过使边缘设备在不交换原始数据的情况下训练共享的机器学习模型，克服物联网中的隐私与资源限制。
• 开发一种新型联邦学习框架——协作联邦学习（CFL），支持设备间去中心化、协作式的模型训练，最大限度减少中心协调。
• 利用设备调度、网络构建、移动性管理及编码等无线通信技术优化CFL性能，提升可靠性并降低延迟。
• 识别在无数据共享条件下，异构源编码与慢速设备（straggler）缓解方面的开放研究挑战，这对现实世界物联网系统中可扩展且高效的部署至关重要。

提出的方法

• 提出一种新型联邦学习框架——协作联邦学习（CFL），设备通过设备间直接通信协作训练共享模型，降低对中心控制器的依赖。
• 引入三个关键性能指标用于评估CFL：收敛速度、通信效率与模型准确率。
• 应用设备调度技术，选择最优设备子集进行模型聚合，以最小化延迟并提升训练效率。
• 采用网络构建技术，动态在设备间形成通信簇，实现本地化模型交换，降低回传负载。
• 实施移动性管理，以在移动的物联网环境中维持稳定的通信链路，确保一致的模型同步。
• 应用源编码（如基于量化的压缩）、信道编码与梯度编码，以减少传输开销，并提升在噪声无线信道上的可靠性。

实验结果

研究问题

• RQ1 如何重构联邦学习，以在大规模、动态的物联网网络中降低对中心控制器的依赖？
• RQ2 哪些无线通信技术可被利用以提升协作联邦学习的收敛性、可靠性与效率？
• RQ3 如何设计具有可变比特率（异构编码）的源编码，以在多样化的物联网设备环境中最小化能耗与模型失真？
• RQ4 哪些梯度编码策略可在不共享数据的前提下缓解慢速设备的影响？
• RQ5 不同的编码方案（源编码、信道编码、梯度编码）如何影响无线CFL系统中的模型准确率与传输延迟？

主要发现

• 仅使用每个模型参数4比特的基于量化的CFL算法，其模型准确率几乎与全精度FL相当，显著降低了传输延迟。
• 4比特量化版本的CFL算法优于2比特版本，表明更高的比特分辨率可减少失真并提升学习性能。
• 源编码、信道编码与梯度编码协同作用，通过降低通信开销、提升抗错能力并最小化模型退化，显著增强CFL性能。
• 异构源编码（设备根据信道条件使用不同比特率）可降低能耗，并改善系统整体损失函数性能。
• 无需数据共享的梯度编码方案对于缓解CFL中的慢速设备影响至关重要，可实现在资源受限且动态的物联网环境中的鲁棒训练。
• 所提出的CFL框架可实际应用于移动键盘预测、物联网设备监控及自动驾驶车辆事件检测等场景，显著提升可扩展性与隐私保护。