[论文解读] On Convergence of Distributed Approximate Newton Methods: Globalization, Sharper Bounds and Beyond

Xiao–Tong Yuan, Ping Li|arXiv (Cornell University)|Aug 6, 2019

Advanced Optimization Algorithms Research被引用 14

一句话总结

本文提出了DANE算法的改进变体——带回溯线搜索的DANE与DANE-HB（Heavy-Ball）算法，以实现二次型和非二次型强凸函数的全局收敛性及更优的局部收敛速率。该文建立了近乎紧致的局部收敛速率与全局收敛性，针对线性模型，通过李雅普诺夫分析改进了通信与计算复杂度界。

ABSTRACT

The DANE algorithm is an approximate Newton method popularly used for communication-efficient distributed machine learning. Reasons for the interest in DANE include scalability and versatility. Convergence of DANE, however, can be tricky; its appealing convergence rate is only rigorous for quadratic objective, and for more general convex functions the known results are no stronger than those of the classic first-order methods. To remedy these drawbacks, we propose in this paper some new alternatives of DANE which are more suitable for analysis. We first introduce a simple variant of DANE equipped with backtracking line search, for which global asymptotic convergence and sharper local non-asymptotic convergence rate guarantees can be proved for both quadratic and non-quadratic strongly convex functions. Then we propose a heavy-ball method to accelerate the convergence of DANE, showing that nearly tight local rate of convergence can be established for strongly convex functions, and with proper modification of algorithm the same result applies globally to linear prediction models. Numerical evidence is provided to confirm the theoretical and practical advantages of our methods.

研究动机与目标

• 解决标准DANE在非二次目标下缺乏全局收敛性与局部收敛性保证的问题。
• 开发具有可证明全局渐近收敛性与更紧致局部非渐近收敛速率的新DANE变体。
• 通过Heavy-Ball加速，将收敛保证扩展至线性预测模型。
• 提出统一的基于李雅普诺夫函数的分析框架，用于分析分布式近似牛顿方法的收敛性。
• 通过算法改进，提升通信与计算复杂度界的性能。

提出的方法

• 引入DANE的回溯线搜索变体，以确保全局收敛并改善局部收敛速率。
• 提出DANE-HB，一种基于Heavy-Ball加速的DANE变体，可实现强凸函数的近乎紧致局部收敛速率。
• 采用李雅普诺夫函数框架证明收敛性，实现更紧致的界与统一的分析。
• 使用SVRG作为子问题的局部求解器，并以IFO复杂度作为计算度量。
• 推导出二次型目标下通信复杂度界为$\mathcal{O}\left(\frac{\sqrt{\kappa}}{n^{1/4}}\log\left(\frac{1}{\epsilon}\right)\right)$。
• 通过调整算法结构，对DANE-HB进行修改，以实现线性模型的全局收敛。

实验结果

研究问题

• RQ1 DANE能否被修改以实现非二次强凸函数的全局收敛？
• RQ2 在分布式设置下，近似牛顿方法可实现的最紧致局部非渐近收敛速率是多少？
• RQ3 Heavy-Ball加速能否有效集成到DANE中以提升收敛速度？
• RQ4 新DANE变体的通信与计算复杂度与SVRG等一阶方法相比如何？
• RQ5 所提方法能否在不同模型类别（包括线性模型）上保持收敛性保证？

主要发现

• 所提出的回溯DANE变体实现了二次型与非二次型强凸函数的全局渐近收敛性，且具有更优的局部非渐近收敛速率。
• DANE-HB在强凸函数上实现了近乎紧致的局部收敛速率，理论保证与已知下界一致。
• 经适当修改后，DANE-HB可确保线性预测模型的全局收敛，将适用范围从二次情形扩展至更广领域。
• DANE-HB的通信复杂度为$\mathcal{O}\left(\frac{\sqrt{\kappa}}{n^{1/4}}\log\left(\frac{1}{\epsilon}\right)\right)$，优于标准DANE，并近乎达到紧致界。
• DANE-HB的IFO复杂度为$\mathcal{O}\left(\sqrt{\kappa}\left(n^{3/4}+n^{1/4}\right)\log^{2}\left(\frac{1}{\epsilon}\right)\right)$，在大规模设置下相比SVRG可实现高达$m^{3/4}$的计算节省。
• 数值结果验证了理论优势，表明实际中收敛速度更快，通信效率更高。