[论文解读] Network Newton-Part II: Convergence Rate and Implementation

Aryan Mokhtari, Qing Ling+1 more|arXiv (Cornell University)|Apr 23, 2015

Distributed Control Multi-Agent Systems参考文献 20被引用 26

一句话总结

该论文提出了一种去中心化优化方法 Network Newton- K（NN- K），通过截断 Hessian 逆矩阵的泰勒级数展开的 K 项来近似牛顿步长，从而加速收敛。研究证明，NN- K 在一个随 K 增大而变长的区间内实现二次收敛，相较于分布式梯度下降（DGD），尤其在病态条件问题中收敛更快。

ABSTRACT

The use of network Newton methods for the decentralized optimization of a sum cost distributed through agents of a network is considered. Network Newton methods reinterpret distributed gradient descent as a penalty method, observe that the corresponding Hessian is sparse, and approximate the Newton step by truncating a Taylor expansion of the inverse Hessian. Truncating the series at $K$ terms yields the NN-$K$ that requires aggregating information from $K$ hops away. Network Newton is introduced and shown to converge to the solution of the penalized objective function at a rate that is at least linear in a companion paper [3]. The contributions of this work are: (i) To complement the convergence analysis by studying the methods' rate of convergence. (ii) To introduce adaptive formulations that converge to the optimal argument of the original objective. (iii) To perform numerical evaluations of NN-$K$ methods. The convergence analysis relates the behavior of NN-$K$ with the behavior of (regular) Newton's method and shows that the method goes through a quadratic convergence phase in a specific interval. The length of this quadratic phase grows with $K$ and can be made arbitrarily large. The numerical experiments corroborate reductions in the number of iterations and the communication cost that are necessary to achieve convergence relative to distributed gradient descent.

研究动机与目标

• 通过刻画其收敛速率，完成对 NN- K 收敛性的分析，特别是识别出其是否存在类似标准牛顿法的二次收敛阶段。
• 提出自适应形式（ANN- K），使其收敛至原始目标函数的精确最优解，从而克服 NN- K 对惩罚问题的次优收敛问题。
• 通过数值实验评估 NN- K 和 ANN- K 的性能，比较其与分布式梯度下降（DGD）在迭代次数和通信成本方面的表现。
• 证明增加截断阶数 K 可延长二次收敛阶段的长度，从而实现更快收敛。
• 为 ANN- K 中惩罚系数参数的选择提供实际可行的权衡洞察。

提出的方法

• NN- K 通过将 Hessian 逆矩阵的泰勒级数展开截断至 K 项来近似牛顿步长，利用网络结构带来的 Hessian 稀疏性。
• 通过聚合 K 跳邻居的信息，在去中心化方式下计算近似 Hessian 逆矩阵，实现去中心化部署。
• 收敛性分析表明，NN- K 迭代点的加权梯度范数路径与标准牛顿法相似，其中残差项捕捉了 Hessian 逆矩阵近似误差。
• 证明在特定区间内存在一个二次收敛阶段，该阶段长度随 K 增大而增加，且当 K 增大时可趋于任意长。
• 提出 ANN- K 作为自适应变体，通过使用一系列递增的惩罚系数，使解收敛至原始目标函数的精确最优解。
• 利用 Hessian 性质、梯度范数和矩阵范数推导理论界，通过包含 ρ、ε 和 λ 等项的递归不等式分析收敛速率。

实验结果

研究问题

• RQ1 NN- K 的收敛速率如何？其是否表现出类似标准牛顿法的二次收敛阶段？
• RQ2 NN- K 中二次收敛阶段的长度如何依赖于截断阶数 K？
• RQ3 能否纠正 NN- K 对惩罚目标函数的次优收敛问题，以实现对原始问题最优解的精确收敛？
• RQ4 在病态条件问题中，NN- K 和 ANN- K 与分布式梯度下降（DGD）相比，在迭代次数和通信成本方面表现如何？
• RQ5 在 ANN- K 中，惩罚系数及其更新速率的最优设置是什么，以在收敛速度与精度之间取得平衡？

主要发现

• NN- K 实现了随 K 增大而延长的二次收敛阶段，且通过增加 K 可使该阶段长度趋于任意大。
• NN- K 的收敛速率至少为线性，但在一个显著区间内进入更快的二次收敛阶段，解释了其相较于 DGD 的优越性能。
• 数值实验表明，NN- K 在迭代次数和通信成本方面均优于 DGD，尤其在病态条件问题中表现更优。
• 在通信成本方面，K=1 和 K=2 的 NN- K 表现最佳，表明收敛速度与每轮通信负载之间存在权衡。
• ANN- K 通过自适应增加惩罚系数，成功收敛至原始目标函数的精确最优解。
• ANN- K 的性能对初始惩罚系数及其增长速率的选择较为敏感，数值结果揭示了收敛速度与精度之间的权衡关系。