[论文解读] Straggler-Resilient Federated Learning: Leveraging the Interplay Between Statistical Accuracy and System Heterogeneity

Amirhossein Reisizadeh, Isidoros Tziotis+3 more|arXiv (Cornell University)|Dec 28, 2020

Privacy-Preserving Technologies in Data被引用 15

一句话总结

该论文提出FLANP，一种对延迟客户端（straggler）具有鲁棒性的联邦学习方法，通过自适应优先选择更快的客户端，并基于统计精度逐步引入较慢的客户端。通过利用先前阶段的热启动初始化，与FedAvg相比，其在系统异构性较高及大规模数据分布场景下，可将训练耗时减少高达74%。

ABSTRACT

Federated Learning is a novel paradigm that involves learning from data samples distributed across a large network of clients while the data remains local. It is, however, known that federated learning is prone to multiple system challenges including system heterogeneity where clients have different computation and communication capabilities. Such heterogeneity in clients' computation speeds has a negative effect on the scalability of federated learning algorithms and causes significant slow-down in their runtime due to the existence of stragglers. In this paper, we propose a novel straggler-resilient federated learning method that incorporates statistical characteristics of the clients' data to adaptively select the clients in order to speed up the learning procedure. The key idea of our algorithm is to start the training procedure with faster nodes and gradually involve the slower nodes in the model training once the statistical accuracy of the data corresponding to the current participating nodes is reached. The proposed approach reduces the overall runtime required to achieve the statistical accuracy of data of all nodes, as the solution for each stage is close to the solution of the subsequent stage with more samples and can be used as a warm-start. Our theoretical results characterize the speedup gain in comparison to standard federated benchmarks for strongly convex objectives, and our numerical experiments also demonstrate significant speedups in wall-clock time of our straggler-resilient method compared to federated learning benchmarks.

研究动机与目标

• 解决因计算速度较慢的客户端导致的联邦学习可扩展性瓶颈问题。
• 在计算速度差异显著的高异构客户端环境中，减少训练的耗时。
• 利用经验风险最小化（ERM）解在数据样本增加时的统计相似性，实现跨阶段的热启动初始化。
• 设计一种动态客户端参与策略，优先在初期选择快速客户端，并仅在有益时逐步增加较慢客户端的参与。
• 证明自适应节点参与可在不牺牲模型精度的前提下，实现显著的加速效果，即使在部分参与或系统参数未知的情况下亦成立。

提出的方法

• 仅使用最快的客户端启动联邦训练，以最小化往返延迟，因为服务器仅需等待最快参与者。
• 一旦当前模型达到统计精度，便在几何阶段逐步增加参与客户端的数量（例如，每阶段节点数翻倍）。
• 将前一阶段的解作为下一阶段的热启动，利用较小数据集的最优解与来自相同分布的大数据集最优解相近的事实。
• 基于收敛至统计精度（通过梯度范数或次优性误差监控）而非固定迭代次数来决定阶段切换。
• 当真实系统常数（如μ、c、Vns）未知时，引入启发式调参机制以调整阈值参数，从而支持实际部署。
• 在i.i.d.和指数计算速度分布下，与FedAvg、FedGATE和FedNova基准进行性能对比。

实验结果

研究问题

• RQ1 基于计算速度和统计精度的自适应客户端参与策略，能否在联邦学习中减少训练耗时？
• RQ2 来自先前阶段的热启动策略如何影响收敛速度和最终模型精度？
• RQ3 与标准联邦基准（如FedAvg）相比，该方法在强凸目标下理论上可获得多大的加速增益？
• RQ4 当仅部分节点参与或仅选择最快节点时，该方法表现如何？
• RQ5 启发式参数调节能在多大程度上近似理论最优FLANP算法的实际性能？

主要发现

• 在包含50个客户端、每个节点20个样本的MNIST数据集上，FLANP相比FedAvg将训练耗时减少高达74%（加速比0.74）。
• 当每个节点有200个样本时，FLANP相比FedGATE将训练时间减少57%（比值0.43）；当样本数增至2000时，比值进一步降至0.35，表明随着数据规模增大，加速效果更显著。
• 当客户端数量从10增加到1000时，FLANP与FedGATE的耗时比值从0.73降至0.26，表明异构性越强，加速效果越明显。
• 即使在仅使用最快k个节点的部分参与场景下，该方法仍能实现显著加速，且在速度和精度上均优于FedGATE的随机选择或仅选最快节点策略。
• 基于梯度范数监测的相位转换阈值启发式调参，可实现接近理论最优FLANP的性能，证实了其实际可行性。
• 理论分析表明，在强凸目标下，该方法相比标准基准可获得O(log(Ns))的加速增益，且在多个数据集和系统配置下得到实证验证。