[论文解读] On the Outsized Importance of Learning Rates in Local Update Methods

Zachary Charles, Jakub Konečný|arXiv (Cornell University)|Jul 2, 2020

Stochastic Gradient Optimization Techniques参考文献 60被引用 20

一句话总结

本文表明，在二次设定下，如 FedAvg 这类本地更新方法在代理损失函数上执行随机梯度下降，其中客户端学习率在代理损失的条件数与真实损失的对齐程度之间起着关键的权衡作用。作者推导了收敛速率，揭示了这一权衡关系，并提出了一种实用的自动学习率衰减策略，从而减轻调参负担，同时在通信受限的场景下提升性能。

ABSTRACT

We study a family of algorithms, which we refer to as local update methods, that generalize many federated learning and meta-learning algorithms. We prove that for quadratic objectives, local update methods perform stochastic gradient descent on a surrogate loss function which we exactly characterize. We show that the choice of client learning rate controls the condition number of that surrogate loss, as well as the distance between the minimizers of the surrogate and true loss functions. We use this theory to derive novel convergence rates for federated averaging that showcase this trade-off between the condition number of the surrogate loss and its alignment with the true loss function. We validate our results empirically, showing that in communication-limited settings, proper learning rate tuning is often sufficient to reach near-optimal behavior. We also present a practical method for automatic learning rate decay in local update methods that helps reduce the need for learning rate tuning, and highlight its empirical performance on a variety of tasks and datasets.

研究动机与目标

• 理解为何在理论保证较弱的情况下，FedAvg 和 MAML 等本地更新方法在实践中通常优于小批量 SGD。
• 通过聚焦于可处理但具洞察力的二次目标，分析本地更新方法在异构数据设置下的行为。
• 表征本地更新方法隐式优化的代理损失函数，并识别算法选择（尤其是学习率）如何影响收敛性和解的质量。
• 开发实用改进措施，包括解耦学习率和自动学习率衰减，以减少调参负担，并在通信受限的联邦学习中提升性能。

提出的方法

• 理论分析表明，在二次目标上，本地更新方法等价于在明确定义的代理损失函数上执行随机梯度下降，该代理损失函数可精确地用真实损失和客户端数据分布表征。
• 本文推导出代理损失的显式表达式，表明客户端学习率同时控制该代理损失的条件数及其最小值点与真实损失最小值点之间的距离。
• 推导出 FedAvg 的收敛速率，明确捕捉了条件数降低（有利于收敛）与真实解偏差增大（不利于泛化）之间的权衡。
• 提出一种实用的自动学习率衰减方法，其中客户端学习率根据本地进展自适应地减少，从而降低对人工超参数调优的依赖。
• 在多个数据集（CIFAR-100、FEMNIST、Shakespeare、Stack Overflow）上进行实证验证，涵盖凸与非凸任务，比较调优与自适应学习率调度的效果。
• 通过消融研究隔离客户端学习率与服务器学习率的影响，识别出在不同任务中表现最优的配置。

实验结果

研究问题

• RQ1 客户端学习率的选择如何影响本地更新方法中代理损失的条件数与对齐程度？
• RQ2 为何尽管存在理论局限，FedAvg 等本地更新方法在实践中通常优于小批量 SGD？
• RQ3 我们能否在二次情况下正式表征本地更新方法所优化的代理损失？
• RQ4 在这些方法中，收敛速度（通过条件数）与解质量（通过与真实损失的对齐程度）之间的权衡是什么？
• RQ5 自动学习率衰减能否减少对人工调参的依赖，同时在联邦学习中保持或提升性能？

主要发现

• 在二次情况下，本地更新方法所优化的代理损失函数的条件数由客户端学习率控制，较小的学习率可降低条件数并提升收敛速度。
• 存在权衡关系：通过减小客户端学习率降低条件数可改善收敛，但会增加代理损失最小值点与真实损失最小值点之间的距离。
• 推导出 FedAvg 的显式收敛速率，表明性能取决于条件数与对齐程度之间的平衡，通过合理的学习率调优可实现最优性能。
• 实证结果表明，在通信受限的场景下，仅调优客户端学习率通常足以实现接近最优的性能，甚至无需调整其他超参数。
• 所提出的自动学习率衰减方法显著减少了对人工调参的依赖，并在多种任务（包括 RNN 和 CNN 等非凸模型）中提升了收敛性能。
• 最佳服务器学习率高度依赖于客户端学习率，最优配置在不同任务中差异显著，表明解耦客户端与服务器学习率对性能至关重要。