[论文解读] On Accelerating Distributed Convex Optimizations

Kushal Chakrabarti, Nirupam Gupta+1 more|arXiv (Cornell University)|Aug 19, 2021

Stochastic Gradient Optimization Techniques参考文献 24被引用 6

一句话总结

该论文提出了一种用于分布式凸优化的迭代预条件梯度下降（IPG）算法，通过在服务器端自适应更新预条件矩阵，加速病态条件问题的收敛。与传统方法不同，IPG在解唯一时可实现线性收敛和超线性收敛，收敛速率优于GD、Adam和BFGS，且在全批量和噪声环境下均保持良好的泛化性能。

ABSTRACT

This paper studies a distributed multi-agent convex optimization problem. The system comprises multiple agents in this problem, each with a set of local data points and an associated local cost function. The agents are connected to a server, and there is no inter-agent communication. The agents' goal is to learn a parameter vector that optimizes the aggregate of their local costs without revealing their local data points. In principle, the agents can solve this problem by collaborating with the server using the traditional distributed gradient-descent method. However, when the aggregate cost is ill-conditioned, the gradient-descent method (i) requires a large number of iterations to converge, and (ii) is highly unstable against process noise. We propose an iterative pre-conditioning technique to mitigate the deleterious effects of the cost function's conditioning on the convergence rate of distributed gradient-descent. Unlike the conventional pre-conditioning techniques, the pre-conditioner matrix in our proposed technique updates iteratively to facilitate implementation on the distributed network. In the distributed setting, we provably show that the proposed algorithm converges linearly with an improved rate of convergence than the traditional and adaptive gradient-descent methods. Additionally, for the special case when the minimizer of the aggregate cost is unique, our algorithm converges superlinearly. We demonstrate our algorithm's superior performance compared to prominent distributed algorithms for solving real logistic regression problems and emulating neural network training via a noisy quadratic model, thereby signifying the proposed algorithm's efficiency for distributively solving non-convex optimization. Moreover, we empirically show that the proposed algorithm results in faster training without compromising the generalization performance.

研究动机与目标

• 解决在聚合代价函数病态条件时分布式梯度下降收敛缓慢和不稳定的挑战。
• 设计一种分布式算法，提升收敛速度，同时不泄露本地数据点。
• 将此前仅限于二次函数的迭代预条件方法扩展至一般凸优化问题。
• 在分布式学习设置中，验证所提方法在过程噪声下的收敛速度和鲁棒性。
• 通过噪声二次模型在真实逻辑回归和神经网络训练中验证该方法。

提出的方法

• 服务器维护一个解的估计值，并使用预条件梯度更新该估计值，其中预条件矩阵基于历史梯度迭代更新。
• 预条件矩阵通过递归更新规则计算，近似逆Hessian矩阵，从而在不显式计算Hessian的情况下获得二阶信息。
• 该算法在同步、服务器辅助的分布式架构下运行，无需代理间通信，确保数据隐私。
• 对方法进行形式化分析，证明其对一般凸函数实现线性收敛，且在最小值唯一时实现超线性收敛。
• 采用低秩近似策略更新预条件矩阵，以在大规模设置中保持计算效率。
• 通过小批量梯度计算将方法扩展至随机设置，同时保持收敛性质。

实验结果

研究问题

• RQ1 在分布式设置下，迭代预条件方法能否有效从二次函数扩展至一般凸优化问题？
• RQ2 所提出的迭代预条件技术是否相比标准分布式梯度方法显著提升收敛速度？
• RQ3 在模拟真实世界通信和计算误差的过程噪声下，该算法表现如何？
• RQ4 在训练逻辑回归和神经网络时，该算法的泛化性能如何？
• RQ5 在特定条件下（如存在唯一最小值）能否实现超线性收敛？

主要发现

• 所提出的IPG算法以比传统分布式梯度下降及Adam、NAG等自适应方法更快的速率实现线性收敛。
• 在唯一最小值的特殊情况下，IPG实现超线性收敛，收敛速度全面优于其他方法。
• 在全批量设置下，IPG所需的迭代次数少于除BFGS外的所有方法，而BFGS在过程噪声下发生发散。
• 在过程噪声下，IPG在MNIST数据集上实现了最低的最终相对估计代价误差，在CIFAR-10上实现了最小的最终代价，优于GD、HBM和Adam。
• 在小批量设置下，IPG在MNIST和CIFAR-10数据集上均以最少的迭代次数达到容差阈值。
• 使用IPG训练的模型测试误差与GD、NAG、HBM和Adam相当，表明尽管训练速度更快，但泛化性能未下降。