[论文解读] Network Newton-Part I: Algorithm and Convergence

Aryan Mokhtari, Qing Ling+1 more|arXiv (Cornell University)|Apr 23, 2015

Distributed Control Multi-Agent Systems参考文献 28被引用 25

一句话总结

该论文提出 Network Newton (NN)，一种分布式优化算法，通过使用 Hessian 逆矩阵的截断泰勒展开来近似牛顿步长，从而在多智能体网络中加速收敛。该方法被称为 NN-K（K-跳邻域聚合），在保持收敛速度与最优解接近度之间平衡的同时，实现了至少线性收敛速率。

ABSTRACT

We study the problem of minimizing a sum of convex objective functions where the components of the objective are available at different nodes of a network and nodes are allowed to only communicate with their neighbors. The use of distributed gradient methods is a common approach to solve this problem. Their popularity notwithstanding, these methods exhibit slow convergence and a consequent large number of communications between nodes to approach the optimal argument because they rely on first order information only. This paper proposes the network Newton (NN) method as a distributed algorithm that incorporates second order information. This is done via distributed implementation of approximations of a suitably chosen Newton step. The approximations are obtained by truncation of the Newton step's Taylor expansion. This leads to a family of methods defined by the number $K$ of Taylor series terms kept in the approximation. When keeping $K$ terms of the Taylor series, the method is called NN-$K$ and can be implemented through the aggregation of information in $K$-hop neighborhoods. Convergence to a point close to the optimal argument at a rate that is at least linear is proven and the existence of a tradeoff between convergence time and the distance to the optimal argument is shown. Convergence rate, several practical implementation matters, and numerical analyses are presented in a companion paper [3].

研究动机与目标

• 解决在病态条件问题中分布式一阶方法（如分布式梯度下降，DGD）收敛缓慢的问题。
• 克服在分布式网络中因需要全局通信而难以实现精确牛顿步长的不切实际性。
• 利用本地信息和 K-跳邻域聚合，开发一种可扩展的牛顿步长分布式近似方法。
• 在强凸性和二阶可微性假设下，为所提方法建立理论收敛保证。
• 在分布式优化设置中，展示收敛速度与最终精度之间的权衡。

提出的方法

• 将 DGD 重新解释为求解原始优化问题的惩罚版本，以解释其收敛至最优解邻域的原因。
• 提出 Network Newton (NN) 作为分布式二阶方法，通过截断 Hessian 逆矩阵的泰勒级数展开来近似牛顿步长。
• 将 NN-K 定义为一类算法，其中保留泰勒展开的 K 项，通过 K-跳邻域信息聚合实现。
• 利用 Hessian 矩阵的稀疏结构（与网络图一致），确保局部计算与通信。
• 采用回溯线搜索，结合步长规则，确保每次迭代中目标函数值充分下降。
• 证明目标函数误差收敛至零的速率至少为线性，且该速率由单调递增的序列 βt 控制。

实验结果

研究问题

• RQ1 在无需全局通信的情况下，是否能有效且高效地在分布式网络环境中近似二阶信息？
• RQ2 当使用 Hessian 逆矩阵的截断泰勒展开时，分布式牛顿类方法的收敛行为如何？
• RQ3 泰勒近似中保留的项数 K 如何影响收敛速度与最终精度之间的权衡？
• RQ4 在强凸性和光滑性条件下，所提方法能否在分布式优化中实现线性收敛速率？
• RQ5 在分布式牛顿框架中，何种条件可确保优化序列的稳定性和单调改进？

主要发现

• Network Newton (NN-K) 方法实现了至少线性收敛速率，目标函数误差按 (1−β₀)^t 递减，其中 β₀ > 0。
• 收敛速率由 β₀ 决定，β₀ 为依赖于强凸性与 Lischitz Hessian 常数等问题参数的正常数。
• 序列 βt 严格递增且上界为 1，确保目标误差随迭代次数呈几何衰减。
• 收敛速度与最终精度之间存在权衡：增加 K 可提升收敛速度，但可能因截断近似而增大最终误差。
• 在局部与全局代价函数二阶可微性和强凸性假设下，该方法被证明是收敛的。
• 收敛性证明依赖于目标误差与序列 βt 之间的递归不等式，该序列被证明为正且递增，从而确保线性收敛。