[论文解读] Project Florida: Federated Learning Made Easy

Daniel Madrigal Diaz, Andre Manoel+3 more|arXiv (Cornell University)|Jul 21, 2023

Privacy-Preserving Technologies in DataComputer Science被引用 3

一句话总结

Project Florida 是一个联邦学习平台，通过将服务管理与机器学习工作流解耦，简化了大规模、跨设备的联邦学习部署，实现了联邦学习即服务（FLaaS）。它提供多平台软件开发工具包（SDK）、安全聚合以及云托管编排，已实现对70,000台设备的可扩展支持，并支持差分隐私和异步训练。

ABSTRACT

We present Project Florida, a system architecture and software development kit (SDK) enabling deployment of large-scale Federated Learning (FL) solutions across a heterogeneous device ecosystem. Federated learning is an approach to machine learning based on a strong data sovereignty principle, i.e., that privacy and security of data is best enabled by storing it at its origin, whether on end-user devices or in segregated cloud storage silos. Federated learning enables model training across devices and silos while the training data remains within its security boundary, by distributing a model snapshot to a client running inside the boundary, running client code to update the model, and then aggregating updated snapshots across many clients in a central orchestrator. Deploying a FL solution requires implementation of complex privacy and security mechanisms as well as scalable orchestration infrastructure. Scale and performance is a paramount concern, as the model training process benefits from full participation of many client devices, which may have a wide variety of performance characteristics. Project Florida aims to simplify the task of deploying cross-device FL solutions by providing cloud-hosted infrastructure and accompanying task management interfaces, as well as a multi-platform SDK supporting most major programming languages including C++, Java, and Python, enabling FL training across a wide range of operating system (OS) and hardware specifications. The architecture decouples service management from the FL workflow, enabling a cloud service provider to deliver FL-as-a-service (FLaaS) to ML engineers and application developers. We present an overview of Florida, including a description of the architecture, sample code, and illustrative experiments demonstrating system capabilities.

研究动机与目标

• 解决在多样化、隐私敏感的设备生态系统中大规模部署联邦学习的复杂性。
• 将机器学习工作流开发与基础设施及编排问题解耦，使机器学习工程师和数据科学家能够使用 FLaaS。
• 简化在性能、网络和安全约束各异的异构设备上实现安全、可扩展且高效的联邦训练。
• 提供一个生产就绪的平台，抽象联邦学习中低层次的隐私、安全和通信挑战。
• 通过真实世界和模拟工作负载验证平台的可扩展性和鲁棒性，包括差分隐私和异步训练。

提出的方法

• 通过云托管的编排层将服务管理与机器学习工作流解耦，为开发者提供 FLaaS。
• 提供多平台 SDK（C++、Java、Python），支持跨设备模型训练、本地推理以及安全的模型更新传输。
• 采用安全聚合和密码学原语，在保护模型更新的同时实现全局模型聚合。
• 通过注入噪声支持差分隐私，以保护数据隐私，支持可配置的噪声水平和隐私预算。
• 通过基于缓冲区的聚合机制实现异步训练，降低迭代延迟并提升可扩展性。
• 使用 Azure ML 模拟器进行大规模测试，可模拟数千名并发客户端，支持可配置的网络和设备行为。

实验结果

研究问题

• RQ1 如何简化在异构设备生态系统中大规模、跨设备部署联邦学习？
• RQ2 哪些架构模式能够实现作为托管服务（FLaaS）的安全、可扩展且高效的联邦学习编排？
• RQ3 差分隐私在真实世界联邦学习工作负载中对收敛性和准确性有何影响？
• RQ4 异步训练在多大程度上可降低联邦学习的迭代延迟并提升可扩展性？
• RQ5 在真实世界和模拟环境中，联邦学习平台可扩展性的实际极限是什么？

主要发现

• Project Florida 在生产工作负载中成功扩展至 70,000 台连接设备，目前仍在验证更大规模的部署能力。
• 差分隐私导致模型准确率略有下降并出现收敛延迟，可通过调整超参数缓解。
• 异步训练相比同步训练显著降低了平均迭代时长，且准确率相当，原因在于减少了对慢速客户端的等待时间。
• 扩展性测试表明，平台每轮可处理最多 1,000 名并发客户端，延迟合理，通过配置调优可扩展至数十万客户端。
• 该平台实现了安全的跨平台模型训练，通过安全聚合和差分隐私提供端到端隐私保障。
• 解耦的架构使机器学习开发者能够专注于模型逻辑，而平台则负责通信、安全和编排。