[论文解读] Towards Flexible Device Participation in Federated Learning

Yichen Ruan, Xiaoxi Zhang+2 more|arXiv (Cornell University)|Jun 12, 2020

Privacy-Preserving Technologies in Data参考文献 26被引用 33

一句话总结

本论文将联邦学习扩展到处理不活跃、不完整、到达与离开的设备，在非IID数据下推导收敛界，并提出去偏、快速重启以及适用性调整以维持收敛。

ABSTRACT

Traditional federated learning algorithms impose strict requirements on the participation rates of devices, which limit the potential reach of federated learning. This paper extends the current learning paradigm to include devices that may become inactive, compute incomplete updates, and depart or arrive in the middle of training. We derive analytical results to illustrate how allowing more flexible device participation can affect the learning convergence when data is not independently and identically distributed (non-IID). We then propose a new federated aggregation scheme that converges even when devices may be inactive or return incomplete updates. We also study how the learning process can adapt to early departures or late arrivals, and analyze their impacts on the convergence.

研究动机与目标

• 放宽联邦学习中的严格参与要求，允许不活跃、不完整、到达和离开的设备。
• 推导在灵活参与模式下对非IID数据的收敛界。
• 提出一种聚合方案，缓解部分更新和设备异质性带来的偏差。
• 开发新设备到来时的快速重启机制，并在设备离开时重新定义模型适用性。

提出的方法

• 推广 FedAvg，使之允许依赖于每轮参与情况的动态且异构的聚合系数。
• 引入部分更新的去偏方案以恢复无偏梯度聚合。
• 提出一种快速重启技术，强调新到设备的更新以加速收敛。
• 在设备离开或到来时定义目标转变，并对收敛的结果影响进行界定。
• 在光滑性、强凸性和梯度方差有界的假设下，给出理论收敛界（定理 3.1、定理 3.2、推论 4.0.1–4.0.3）。
• 使用真实参与轨迹和标准数据集的仿真来验证理论结果。

实验结果

研究问题

• RQ1 在非IID数据下，灵活的设备参与（不活跃、不完整、到来、离开）如何影响联邦学习的收敛？
• RQ2 是否可以设计聚合方案以补偿不完整更新和异质参与，同时保持收敛？
• RQ3 设备到来/离开对全局目标的影响是什么，模型应如何适应（快速重启、适用性转变）？
• RQ4 哪些实际策略（去偏、快速重启、适用性决策）最能在现实参与模式下确保收敛？

主要发现

• 具有自适应系数的聚合方案（方案C）实现了无偏梯度聚合，并在异质参与下确保收敛。
• 不完整或不活跃的更新会降低收敛性，除非通过聚合权重去偏来纠正偏差。
• 离开会引入目标转变；推论界定了最优参数的变化程度并指引是否应转变目标。
• 新设备到来可能放慢收敛，除非通过强调新设备信息的快速重启更新来缓解。
• 理论收敛界展示非IID数据（Gamma）和参与统计量（s_tau^k、p_tau^k）如何影响收敛速度与最终损失。
• 使用真实参与轨迹和标准数据集的经验仿真支持理论洞见。