[论文解读] UniFed: All-In-One Federated Learning Platform to Unify Open-Source Frameworks

Xiaoyuan Liu, Tianneng Shi+10 more|arXiv (Cornell University)|Jul 21, 2022

Privacy-Preserving Technologies in Data被引用 6

一句话总结

UniFed 是一个统一的联邦学习平台，通过标准化 11 个开源联邦学习框架的输入、执行和输出，实现了端到端的一致性实验与部署。它引入了一种基于模式约束的配置系统，包含 20 个可编辑字段，支持分布式训练与日志记录，并实现了对模型与系统性能的对比评估，结果表明在跨设备设置中 FedML 优于 Flower，主要由于采样策略的差异。

ABSTRACT

Federated Learning (FL) has become a practical and widely adopted distributed learning paradigm. However, the lack of a comprehensive and standardized solution covering diverse use cases makes it challenging to use in practice. In addition, selecting an appropriate FL framework for a specific use case can be a daunting task. In this work, we present UniFed, the first unified platform for standardizing existing open-source FL frameworks. The platform streamlines the end-to-end workflow for distributed experimentation and deployment, encompassing 11 popular open-source FL frameworks. In particular, to address the substantial variations in workflows and data formats, UniFed introduces a configuration-based schema-enforced task specification, offering 20 editable fields. UniFed also provides functionalities such as distributed execution management, logging, and data analysis. With UniFed, we evaluate and compare 11 popular FL frameworks from the perspectives of functionality, privacy protection, and performance, through conducting developer surveys and code-level investigation. We collect 15 diverse FL scenario setups (e.g., horizontal and vertical settings) for FL framework evaluation. This comprehensive evaluation allows us to analyze both model and system performance, providing detailed comparisons and offering recommendations for framework selection. UniFed simplifies the process of selecting and utilizing the appropriate FL framework for specific use cases, while enabling standardized distributed experimentation and deployment. Our results and analysis based on experiments with up to 178 distributed nodes provide valuable system design and deployment insights, aiming to empower practitioners in their pursuit of effective FL solutions.

研究动机与目标

• 为解决因缺乏标准化和探索成本过高而导致在特定使用场景下难以选择合适联邦学习框架的问题。
• 统一 11 个开源联邦学习框架之间多样的工作流、数据格式与输出结构。
• 实现对联邦学习框架在功能、隐私与性能方面的功能、隐私与性能的一致性、可复现性与可比性评估。
• 通过系统化的基准测试与分析，为实践者提供可操作的推荐建议。
• 通过将日志分析整合到框架选择中，实现评估与推荐之间的闭环。

提出的方法

• 设计并实现一个包含 20 个可编辑字段的统一配置模式，以标准化跨框架的任务定义。
• 构建基于用户界面的工作流，用于框架推荐与配置生成，并支持实时验证。
• 集成跨 178 个节点的分布式执行，以评估真实环境下的系统性能。
• 以一致格式标准化分布式日志，支持跨框架的对比与分析。
• 支持与外部数据分析平台集成，以研究模型与系统性能。
• 开展代码级分析与开发者调查，以刻画框架在功能、隐私机制与实现差异方面的特征。

实验结果

研究问题

• RQ1 哪些联邦学习框架在水平联邦与垂直联邦设置中表现最佳？它们在功能与隐私支持方面有何差异？
• RQ2 不同框架中的采样策略如何影响跨设备联邦学习设置下的模型收敛性与系统性能？
• RQ3 基于树结构与基于神经网络的垂直联邦学习框架之间存在哪些性能权衡？
• RQ4 通信成本、内存使用与并行性等系统级因素如何影响真实环境下的部署效率？
• RQ5 统一平台是否能够降低实践者的入门门槛，并通过数据驱动的推荐提升框架选择效率？

主要发现

• 在 178 台机器的跨设备设置中，FedML 的训练速度（48.4 秒）快于 Flower（57.4 秒），主要归因于其采样策略。
• 经过 400 个周期后，Fedlearner 的模型准确率显著较低（69.06%），低于 Flower（82.13%）与 FedML（80.40%），原因是其在所有客户端上执行的梯度下降效率低下。
• 基于树结构的垂直联邦学习框架（如 FedTree）在效率上优于基于神经网络的框架（如 CrypTen），表现为更低的内存占用与更好的并行性。
• 基于 sMPC 的神经网络训练速度更慢且内存消耗更高，且仅使用一个核心，凸显了隐私保护技术中的权衡。
• Flower 与 FedML 之间模型性能的差异可归因于不同的采样流程：Flower 每轮采样不同的客户端，而 FedML 使用固定的客户端子集，并对每个客户端实例进行洗牌。
• UniFed 实现了跨框架的一致性评估与对比，揭示了采样策略对模型准确率与系统效率均具有可测量的影响。