[论文解读] Statistically Preconditioned Accelerated Gradient Method for Distributed Optimization

Hadrien Hendrikx, Lin Xiao+3 more|arXiv (Cornell University)|Feb 25, 2020

Stochastic Gradient Optimization Techniques参考文献 34被引用 16

一句话总结

该论文提出了一种统计预条件加速梯度方法（SPAG），用于分布式经验风险最小化，其中中心化服务器利用本地计算的Hessian近似来预条件梯度，从而减少通信轮次。该方法的收敛速率取决于全局与局部损失函数之间相对条件数的平方根，在病态条件设置下相比标准方法显著提升了性能。

ABSTRACT

We consider the setting of distributed empirical risk minimization where multiple machines compute the gradients in parallel and a centralized server updates the model parameters. In order to reduce the number of communications required to reach a given accuracy, we propose a \emph{preconditioned} accelerated gradient method where the preconditioning is done by solving a local optimization problem over a subsampled dataset at the server. The convergence rate of the method depends on the square root of the relative condition number between the global and local loss functions. We estimate the relative condition number for linear prediction models by studying \emph{uniform} concentration of the Hessians over a bounded domain, which allows us to derive improved convergence rates for existing preconditioned gradient methods and our accelerated method. Experiments on real-world datasets illustrate the benefits of acceleration in the ill-conditioned regime.

研究动机与目标

• 通过利用局部与全局损失函数之间的统计相似性，减少分布式经验风险最小化中的通信复杂度。
• 在标准一阶方法因收敛缓慢而表现不佳的病态问题中，提升收敛速率。
• 基于服务器上对子采样数据的局部优化，开发一种预条件策略，实现在最小通信开销下更快的收敛速度。
• 通过Hessian的统一集中性理论分析全局与局部损失之间的相对条件数，从而获得更紧致的收敛界。

提出的方法

• 该方法采用基于Bregman散度的预条件框架，其中参考函数φ通过在局部损失函数上添加二次正则化项构建。
• 在每次迭代中，服务器在子采样数据集上求解一个局部优化问题，以计算近似于全局损失Hessian的预条件矩阵。
• 算法对预条件梯度步骤应用Nesterov风格的加速，实现以通信轮次衡量的收敛速率O(√κ_F/φ log(1/ε))。
• 通过线搜索机制动态调整增益参数G_t，以确保相对光滑性和稳定性，当G_t = 1时通信成本最低。
• 该方法基于Hessian在有界域上的统一集中性理论分析，支持对线性预测模型中相对条件数的估计。
• 该方法在中心化服务器-工作节点架构中实现，其中工作节点计算本地梯度并将其发送至服务器以进行模型更新。

实验结果

研究问题

• RQ1 能否利用局部与全局损失函数之间的统计相似性来减少分布式优化中的通信复杂度？
• RQ2 基于局部Hessian近似的预条件策略如何改善病态分布式问题中的收敛性？
• RQ3 全局与局部损失的相对条件数与预条件加速方法收敛速率之间的理论关系是什么？
• RQ4 求解局部子问题的精度如何影响预条件加速方法的性能？
• RQ5 通过线搜索实现的自适应增益选择是否能在不增加通信成本的前提下维持收敛性？

主要发现

• SPAG的收敛速率取决于全局与局部损失函数之间相对条件数的平方根，从而实现了更高的通信效率。
• 对于线性预测模型，通过Hessian的统一集中性可对相对条件数进行有界估计，为改进收敛速率提供了理论依据。
• 在真实世界数据集上的实验表明，SPAG在病态区域中比DANE和HB-DANE收敛更快。
• 在实践中，即使初始化不佳，增益参数G_t也保持较小（通常≤1），这是由于远离最优解时Hessian变化缓慢，尤其是在逻辑回归中。
• 使用G_min = 0的线搜索可略微提升自适应性，但并未显著减少迭代次数，表明G_t = 1已足够且通信高效。
• 不同初始化下的次优性曲线几乎无法区分，表明由于高维设置下二次惩罚项的主导作用，该方法具有鲁棒性。