[论文解读] Prophet: Proactive Candidate-Selection for Federated Learning by Predicting the Qualities of Training and Reporting Phases

Huawei Huang, Kangying Lin+3 more|arXiv (Cornell University)|Feb 3, 2020

Privacy-Preserving Technologies in Data参考文献 16被引用 4

一句话总结

该论文提出 Prophet，一种用于联邦学习（FL）的主动候选选择框架，通过长短期记忆网络（LSTM）预测训练和报告阶段的设备质量，并采用深度强化学习（DRL）主动选择可靠参与者。在真实世界轨迹数据上的评估表明，与反应式选择方法相比，Prophet 显著降低了联邦学习延迟并提高了成功率。

ABSTRACT

Although the challenge of the device connection is much relieved in 5G networks, the training latency is still an obstacle preventing Federated Learning (FL) from being largely adopted. One of the most fundamental problems that lead to large latency is the bad candidate-selection for FL. In the dynamic environment, the mobile devices selected by the existing reactive candidate-selection algorithms very possibly fail to complete the training and reporting phases of FL, because the FL parameter server only knows the currently-observed resources of all candidates. To this end, we study the proactive candidate-selection for FL in this paper. We first let each candidate device predict the qualities of both its training and reporting phases locally using LSTM. Then, the proposed candidateselection algorithm is implemented by the Deep Reinforcement Learning (DRL) framework. Finally, the real-world trace-driven experiments prove that the proposed approach outperforms the existing reactive algorithms

研究动机与目标

• 为解决由不可靠设备参与导致的联邦学习高训练延迟问题。
• 克服仅依赖当前设备资源观测的反应式候选选择方法的局限性。
• 设计一种主动系统，在训练和报告阶段均预测未来的设备性能。
• 通过提前选择高质量、可靠的设备，提升联邦学习的效率和收敛性。

提出的方法

• 每个客户端设备使用长短期记忆网络（LSTM）本地预测其训练和报告阶段的质量。
• 系统采用深度强化学习（DRL）框架，基于预测的设备质量做出主动候选选择决策。
• DRL 代理学习选择那些有望成功完成训练和报告阶段的设备。
• 该框架使用真实世界设备轨迹数据训练和验证预测与选择模型。
• 预测与选择流程旨在通过避免高失败风险设备来最小化联邦学习延迟。
• 该方法通过在联邦学习轮次开始前预判设备可靠性，实现从反应式到主动选择的转变。

实验结果

研究问题

• RQ1 基于 LSTM 的本地训练和报告阶段质量预测能否提升联邦学习候选选择效果？
• RQ2 基于预测设备质量的主动选择与基于当前观测的反应式选择相比，表现如何？
• RQ3 在设备可用性动态变化的条件下，深度强化学习在候选选择优化方面能达到何种程度？
• RQ4 主动选择对真实世界场景中联邦学习收敛延迟和成功率有何影响？

主要发现

• Prophet 通过主动避免在训练或报告阶段可能失败的设备，显著降低了联邦学习的训练延迟。
• 使用 LSTM 进行本地质量预测，相比反应式方法，能更准确地预测设备可靠性。
• 基于 DRL 的选择框架在成功率和收敛稳定性方面优于现有反应式算法。
• 基于真实世界轨迹数据的实验验证了 Prophet 在提升整体联邦学习效率和可靠性方面的有效性。
• 与反应式选择策略相比，主动方法显著提高了联邦学习轮次的完成率。
• 该系统在动态网络和设备条件下表现出稳健性能，验证了其实际适用性。