[论文解读] Towards Federated Learning at Scale: System Design

Keith Bonawitz, Hubert Eichner+12 more|arXiv (Cornell University)|Feb 4, 2019

Privacy-Preserving Technologies in Data参考文献 21被引用 954

一句话总结

本文提出一个在移动设备上的生产级联邦学习系统，使用 TensorFlow，详细描述高层架构、协议、设备与服务器设计、安全聚合、分析、工具与生产经验。它讨论在现实部署中扩展联邦平均（FedAvg）的挑战、解决方案和未解决问题。

ABSTRACT

Federated Learning is a distributed machine learning approach which enables model training on a large corpus of decentralized data. We have built a scalable production system for Federated Learning in the domain of mobile devices, based on TensorFlow. In this paper, we describe the resulting high-level design, sketch some of the challenges and their solutions, and touch upon the open problems and future directions.

研究动机与目标

• 激励并界定在移动设备上大规模部署联邦学习所面临的挑战。
• 描述端到端的系统架构，包括设备、服务器和协议组件。
• 解释在实际可扩展性和可靠性下，如何实现同步轮次与 Federated Averaging。
• 讨论隐私增强措施（如 Secure Aggregation）及数据安全考虑。
• 概述工具、分析和部署经验，以指导未来的系统研究。

提出的方法

• 用参与方（设备）和云服务器定义联邦学习协议。
• 描述三阶段轮次（选择、配置、报告）以及节奏引导以实现可扩展的参与。
• 解释设备架构、示例存储以及通过 Android 的 IPC (AIDL) 将本地 FL 运行时集成。
• 详细说明使用 Actor 模型的服务器架构，包含协调器、选择器、主聚合器和聚合器，以实现可扩展的内存中、短暂状态和并行聚合。
• 讨论将安全聚合作为隐私增强的补充及其四轮协议。
• 展示用于监控设备健康状况和系统性能的分析和运维工具。
• 概述模型工程师工作流程，包括建模/仿真、计划生成、版本控制、测试和部署。
• 突出应用场景（例如设备端下一词预测、设备端项排序）以及实际生产指标。

实验结果

研究问题

• RQ1 如何将联邦学习扩展到数千万级设备，同时实现可靠的同步轮次？
• RQ2 哪些架构选择能够在大规模下实现高效的服务器端聚合和设备协同？
• RQ3 如何在不影响可扩展性和性能的前提下加强隐私保护（如 Secure Aggregation）？
• RQ4 需要哪些工具、工作流和分析方法来在设备上开发、测试和部署 FL 任务？
• RQ5 在生产环境中，联邦学习的实际性能和部署经验是多少（例如 1000 万以上设备，潜在规模达到数十亿）？

主要发现

• 该系统支持在设备端训练深度神经网络，更新通过联邦平均在云端聚合，使用安全聚合来保护单个更新。
• 使用 Actor 模型的服务器设计实现了可扩展的内存中、短暂状态以及面向从数十到潜在数十亿设备的轮次的动态资源管理。
• 节奏引导和精心设计的选择/报告窗口有助于扩展轮次规模并减轻饿汉效应，同时适应日间设备活动。
• 实证生产经验显示并发参与设备最多可达1万台，约6-10%的设备流失率，以及通常初始参与超额约130%以弥补落后者。
• 计划版本控制和在仿真中的自动测试解决设备端 TensorFlow 版本异质性问题，使在设备舰队中安全部署 FL 计划成为可能。
• 设备端下一词预测和设备端排序任务呈现出具有竞争力的性能提升和在 FL 轮内的实际收敛性，并给出关于实际墙钟效率的生产洞察。