[论文解读] Proximal and Federated Random Reshuffling

Konstantin Mishchenko, Ahmed Khaled+1 more|arXiv (Cornell University)|Feb 12, 2021

Stochastic Gradient Optimization Techniques参考文献 36被引用 4

一句话总结

该论文提出了 ProxRR 和 FedRR 两种新算法，用于基于随机重排的近端学习与联邦学习，通过每轮仅评估一次近端算子实现更快收敛。在近端算子计算成本较高的情况下，该方法显著降低了计算开销，最多可减少 n 倍，且在性能上优于 Proximal SGD 和 Local SGD。

ABSTRACT

Random Reshuffling (RR), also known as Stochastic Gradient Descent (SGD) without replacement, is a popular and theoretically grounded method for finite-sum minimization. We propose two new algorithms: Proximal and Federated Random Reshuffing (ProxRR and FedRR). The first algorithm, ProxRR, solves composite convex finite-sum minimization problems in which the objective is the sum of a (potentially non-smooth) convex regularizer and an average of $n$ smooth objectives. We obtain the second algorithm, FedRR, as a special case of ProxRR applied to a reformulation of distributed problems with either homogeneous or heterogeneous data. We study the algorithms' convergence properties with constant and decreasing stepsizes, and show that they have considerable advantages over Proximal and Local SGD. In particular, our methods have superior complexities and ProxRR evaluates the proximal operator once per epoch only. When the proximal operator is expensive to compute, this small difference makes ProxRR up to $n$ times faster than algorithms that evaluate the proximal operator in every iteration. We give examples of practical optimization tasks where the proximal operator is difficult to compute and ProxRR has a clear advantage. Finally, we corroborate our results with experiments on real data sets.

研究动机与目标

• 解决现有近端学习与联邦学习方法在每次迭代中均评估近端算子所导致的效率低下问题。
• 提出一种新算法 ProxRR，用于具有非光滑正则项的复合凸有限和最小化问题。
• 通过重新表述将 ProxRR 扩展至联邦学习，得到适用于同质与异质数据的 FedRR 算法。
• 证明仅在每轮中评估一次近端算子即可在算子计算成本较高时显著提升效率。
• 提供理论收敛保证，并在真实数据集上进行实证验证。

提出的方法

• ProxRR 通过结合随机重排与每轮仅一次近端算子评估，求解复合凸有限和问题。
• 该算法采用固定或递减步长，并仅在每轮结束时应用一次近端算子，从而降低计算开销。
• FedRR 是将 ProxRR 应用于客户端特定数据的重新表述后得到的分布式优化问题的特例。
• 该方法利用重新表述后问题的结构，在同质与异质数据设置下均保持收敛性保证。
• 理论分析基于强凸性与光滑性假设，通过方差缩减与递推不等式推导收敛边界。
• 实验使用真实数据集（如 'a1a'、'mushrooms'），在不同本地步数与步长调度下对比 FedRR 与 Local SGD。

实验结果

研究问题

• RQ1 随机重排能否有效扩展至具有非光滑正则项的近端有限和最小化问题？
• RQ2 仅在每轮中评估一次近端算子是否能在不牺牲收敛性的情况下实现显著的计算节省？
• RQ3 在联邦学习中，FedRR 相较于 Local SGD 在收敛速度与通信效率方面表现如何？
• RQ4 在强凸性与光滑性假设下，ProxRR 与 FedRR 的理论收敛速率是多少？
• RQ5 在哪些实际优化任务中，减少近端算子评估频率能带来明确优势？

主要发现

• ProxRR 在每轮仅一次近端评估下实现 O(1/T) 的收敛速率，当近端算子计算成本较高时，显著降低计算开销。
• FedRR 继承了相同的效率与收敛特性，适用于同质与异质数据的联邦学习。
• 实验表明，当本地步数较大时，FedRR 比 Local SGD 收敛更快，这得益于其对步长选择的鲁棒性。
• 在通信轮次与数据遍历次数方面，该方法在 'mushrooms' 等真实世界数据集上均优于 Proximal SGD 与 Local SGD。
• 理论分析表明，FedRR 在强凸性条件下保持线性收敛，误差界依赖于条件数与数据方差。
• ℓ1 + ℓ2 正则化的近端算子可通过软阈值法高效计算，从而支持 ProxRR 的实际部署。