[论文解读] Parallel Stochastic Newton Method

Mojmír Mutný, Peter Richtárik|Edinburgh Research Explorer|May 4, 2017

Stochastic Gradient Optimization Techniques参考文献 23被引用 3

一句话总结

本文提出了一种并行随机牛顿方法（PSN），用于最小化光滑且强凸函数，通过随机重叠子矩阵采样利用曲率信息以加速收敛。该方法在大规模数据场景（如经验风险最小化）下，相较于串行和并行坐标下降方法（PCDM），在理论和实验上均实现了速度提升。

ABSTRACT

We propose a parallel stochastic Newton method (PSN) for minimizing unconstrained smooth convex functions. We analyze the method in the strongly convex case, and give conditions under which acceleration can be expected when compared to its serial counterpart. We show how PSN can be applied to the empirical risk minimization problem, and demonstrate the practical efficiency of the method through numerical experiments and models of simple matrix classes.

研究动机与目标

• 通过设计一种可扩展且可并行化的算法，解决经典二阶方法在大规模数据中效率低下的问题，同时保留曲率信息。
• 通过使用随机重叠子矩阵近似，克服牛顿方法中完整Hessian矩阵求逆的计算瓶颈。
• 在强凸性和光滑性假设下，为并行随机牛顿方法提供理论收敛保证。
• 在理论和实践中均证明其性能优于现有方法，特别是并行坐标下降法（PCDM）。
• 通过对偶重构将该方法扩展至经验风险最小化（ERM）问题，并应用于岭回归等统计模型。

提出的方法

• 提出一种并行随机牛顿方法（PSN），通过采样Hessian近似矩阵的重叠块来利用曲率信息。
• 通过随机采样索引集 $ S_k $ 构造子矩阵 $ \mathbf{X}_{S_k} $，实现多个块上的并行更新。
• 通过ERM问题的对偶形式推导出对偶目标，使PSN可直接应用，其中 $ \alpha $-更新基于对偶梯度和Hessian近似。
• 执行原始-对偶更新：首先计算 $ w^k = \nabla g^*(\bar{\alpha}_k) $，然后求解子问题 $ h^{k_j} = \arg\min_h \langle I_{S_j^k}\mathbf{A}^\top w^k, h \rangle + \frac{1}{2}\langle h, \mathbf{X}_{S_j^k} h \rangle + \sum_{i\in S_j^k} \nabla\psi_i(\alpha_i^k) h_i $。
• 通过平均合并多个子问题解：$ \alpha^{k+1} = \alpha^k + \frac{1}{b} \sum_{j=1}^c h^{k_j} $，并对 $ \bar{\alpha}^{k+1} $ 使用对偶平均。
• Hessian近似矩阵 $ \mathbf{X} $ 定义为 $ \frac{1}{\lambda n^2}\mathbf{A}^\top\mathbf{A} + \frac{\mathbf{D}(\gamma)^{-1}}{n} $，结合了数据和正则化项的曲率信息。

实验结果

研究问题

• RQ1 并行随机牛顿方法能否在强凸优化中实现相对于其串行版本的理论加速？
• RQ2 与固定非重叠块相比，Hessian块的重叠非固定采样选择如何影响收敛性？
• RQ3 在何种场景下，PSN在收敛速度和实际效率方面优于并行坐标下降法（PCDM）？
• RQ4 PSN在大规模数据优化问题中实现加速的理论条件是什么？
• RQ5 如何将PSN框架适配至具有光滑强凸目标的经险风险最小化（ERM）问题？

主要发现

• PSN在强凸性下实现理论线性收敛，且收敛速率取决于Hessian近似矩阵 $ \mathbf{X} $ 的谱性质。
• 由于并行化，该方法在理论上实现了对串行随机牛顿方法的加速，且在 $ \rho $-矩阵和 $ \alpha $-三对角矩阵等特殊矩阵类中得到验证。
• 对于 $ \rho $-矩阵，当采样分布选择得当时，PSN的收敛速率优于PCDM。
• 在数值实验中，PSN在收敛速度和最终目标值方面均优于PCDM，尤其在高维场景下表现更优。
• 通过ERM的对偶形式，可直接应用PSN，且可通过将 $ \mathbf{M} \leftarrow \mathbf{X} $ 将主定理的收敛保证传递至该设置。
• 作者推测，先前工作[12]中的对偶间隙界可能也适用于PSN，但正式证明留待未来工作。