[论文解读] Papaya: Practical, Private, and Scalable Federated Learning

Dzmitry Huba, John Nguyen+12 more|arXiv (Cornell University)|Nov 8, 2021

Privacy-Preserving Technologies in Data参考文献 30被引用 29

一句话总结

Papaya 提供 AsyncFL，一个生产级联邦学习系统，能够异步安全聚合，并在大规模下在速度和通信效率方面优于同步 FL。它展示了在并发下近线性服务器更新频率和相比 SyncFL 的偏差减少。

ABSTRACT

Cross-device Federated Learning (FL) is a distributed learning paradigm with several challenges that differentiate it from traditional distributed learning, variability in the system characteristics on each device, and millions of clients coordinating with a central server being primary ones. Most FL systems described in the literature are synchronous - they perform a synchronized aggregation of model updates from individual clients. Scaling synchronous FL is challenging since increasing the number of clients training in parallel leads to diminishing returns in training speed, analogous to large-batch training. Moreover, stragglers hinder synchronous FL training. In this work, we outline a production asynchronous FL system design. Our work tackles the aforementioned issues, sketches of some of the system design challenges and their solutions, and touches upon principles that emerged from building a production FL system for millions of clients. Empirically, we demonstrate that asynchronous FL converges faster than synchronous FL when training across nearly one hundred million devices. In particular, in high concurrency settings, asynchronous FL is 5x faster and has nearly 8x less communication overhead than synchronous FL.

研究动机与目标

• 动机：需要可扩展的跨设备 FL，能够处理异构性和落后设备。
• 提出一种带有缓冲安全聚合的异步 FL 设计（AsyncFL），实现零等待客户端更新。
• 在数百万设备上进行生产规模评估，以衡量收敛性、吞吐量和公平性。
• 解决设计挑战，如客户端独立性、高利用率和快速模型聚合。

提出的方法

• 描述 AsyncFL 算法（FedBuff），无轮次且聚合目标驱动的更新。
• 引入使用可信执行环境的异步安全聚合，以掩蔽和解掩更新。
• 提出两层系统设计（Coordinator、Selector、Aggregator），实现独立客户端参与。
• 解释一个快速、并行的聚合流水线，带有持久聚合器和内存队列。
• 详细说明一个客户端选择与替换机制，以维持接近 100% 的利用率。
• 在接近生产的设置中提供面向流量和规模的基准方法。

实验结果

研究问题

• RQ1 在大规模下，异步联邦学习（AsyncFL）与同步 FL（SyncFL）在收敛速度方面有何差异？
• RQ2 在异质性下，异步安全聚合是否能够在提高利用率的同时保持隐私并降低偏差？
• RQ3 哪些系统设计选择能够在数百万设备上实现生产规模的 AsyncFL？

主要发现

• AsyncFL 比 SyncFL 收敛更快，在高并发设置下实现高达 5x 的时钟时间加速。
• AsyncFL 相比 SyncFL 在通信开销上实现高达 8x 的降低。
• AsyncFL 在单位时间内产生的服务器模型更新数量最多比 SyncFL 高出 30x。
• SyncFL 中的过度选择对慢设备和高数据客户端引入采样偏差，降低模型公平性。
• AsyncFL 保持与未偏斜的 SyncFL 相似的低偏差，同时提供更快的训练速度和更高的吞吐量。
• AsyncFL 展示出改进的公平性，慢设备不再被不成比例地剔除。