[论文解读] Oort: Efficient Federated Learning via Guided Participant Selection

Fan Lai, Xiangfeng Zhu+2 more|arXiv (Cornell University)|Oct 12, 2020

Privacy-Preserving Technologies in Data参考文献 68被引用 47

一句话总结

Oort 引入了面向参与者的引导式选择用于联邦学习，以通过优先考虑高效用、快速的参与者来提升时间到准确率和测试效率，同时尊重开发者的测试标准和隐私。

ABSTRACT

Federated Learning (FL) is an emerging direction in distributed machine learning (ML) that enables in-situ model training and testing on edge data. Despite having the same end goals as traditional ML, FL executions differ significantly in scale, spanning thousands to millions of participating devices. As a result, data characteristics and device capabilities vary widely across clients. Yet, existing efforts randomly select FL participants, which leads to poor model and system efficiency. In this paper, we propose Oort to improve the performance of federated training and testing with guided participant selection. With an aim to improve time-to-accuracy performance in model training, Oort prioritizes the use of those clients who have both data that offers the greatest utility in improving model accuracy and the capability to run training quickly. To enable FL developers to interpret their results in model testing, Oort enforces their requirements on the distribution of participant data while improving the duration of federated testing by cherry-picking clients. Our evaluation shows that, compared to existing participant selection mechanisms, Oort improves time-to-accuracy performance by 1.2x-14.1x and final model accuracy by 1.3%-9.8%, while efficiently enforcing developer-specified model testing criteria at the scale of millions of clients.

研究动机与目标

• 激发并解决大规模 FL 中随机参与者选择所造成的低效问题。
• 开发一个框架以选择参与者，优化训练中的统计效用和系统速度。
• 在联邦测试期间实现对开发者指定的数据分布标准的可扩展执行。
• 在效用估计中尊重客户端隐私，并对参与者效用中的异常值和时效性进行鲁棒性处理。

提出的方法

• 使用基于本地训练损失和数据量的务实近似来定义客户端统计效用。
• 制定一个综合效用以平衡统计和系统效率，并引入一个节奏器以适应轮次时长。
• 提出一种在线探索-利用策略（带有带权的赌博式思路，bandit 启发）以在大规模下选择高效用参与者，同时处理时效性和异常值。
• 提供两个选择器：一个训练选择器以改善时间到准确率，和一个在联邦测试期间强制数据分布标准的测试选择器。
• 将 Oort 与 PySyft 集成并在实际的 FL 工作负载上进行评估，以量化相对于现有方法的改进。

实验结果

研究问题

• RQ1 如何通过在统计效用与系统速度之间取得平衡来选择 FL 参与者以最大化时间到准确率？
• RQ2 在大规模联邦测试中，如何在不暴露原始数据的情况下高效地执行开发者指定的数据分布标准？
• RQ3 在 FL 的训练与测试中估计参与者效用时如何保护隐私？
• RQ4 选择机制如何以可扩展、鲁棒的方式处理效用时效性和异常值？
• RQ5 与现有选择方法相比，Oort 的方法是否能提升训练时间到准确率和最终模型准确性？

主要发现

• 在联邦训练中，相较于现有选择方法，时间到准确率提升幅度为 1.2x 到 14.1x。
• 在基线方法之上，最终模型准确性提升 1.3% 到 9.8%。
• 在强制执行开发者指定的数据分布时，联邦测试时长平均下降约 4.7 倍。
• Oort 在可扩展到数百万客户端的同时，统计性能接近上限。
• 该框架支持多样化的标准（如公平性），并通过聚合/有噪声的效用来维护隐私，在有噪声信号下具有鲁棒性能。