[论文解读] SDNA: Stochastic Dual Newton Ascent for Empirical Risk Minimization

Zheng Qu, Peter Richtárik+2 more|arXiv (Cornell University)|Feb 8, 2015

Stochastic Gradient Optimization Techniques参考文献 34被引用 43

一句话总结

SDNA 是一种用于经验风险最小化的新型随机对偶牛顿上升算法，通过利用数据随机子集的完整曲率信息，实现了随小批量大小增加而改善的几何收敛速率——这与传统方法（如 SDCA）不同。SDNA 通过减少迭代次数和数据遍历次数，在密集问题中优于现有方法，可被解释为二次损失下迭代 Hessian 投影法的一种变体。

ABSTRACT

We propose a new algorithm for minimizing regularized empirical loss: Stochastic Dual Newton Ascent (SDNA). Our method is dual in nature: in each iteration we update a random subset of the dual variables. However, unlike existing methods such as stochastic dual coordinate ascent, SDNA is capable of utilizing all curvature information contained in the examples, which leads to striking improvements in both theory and practice - sometimes by orders of magnitude. In the special case when an L2-regularizer is used in the primal, the dual problem is a concave quadratic maximization problem plus a separable term. In this regime, SDNA in each step solves a proximal subproblem involving a random principal submatrix of the Hessian of the quadratic function; whence the name of the method. If, in addition, the loss functions are quadratic, our method can be interpreted as a novel variant of the recently introduced Iterative Hessian Sketch.

研究动机与目标

• 通过在随机设置下整合完整的 Hessian 信息，解决一阶梯度法和有限曲率二阶梯度法在经验风险最小化中的局限性。
• 开发一种基于对偶的优化算法，高效利用随机小批量数据的曲率信息，提升收敛速度并减少数据遍历次数。
• 建立理论复杂度边界，表明随着小批量大小增加，收敛速率得到改善，且呈现几何收敛，这与 SDCA 类方法性能下降形成对比。
• 证明 SDNA 可被解释为二次损失函数下迭代 Hessian 投影法的一种新颖变体，从而将其与近期基于投影视图的 Hessian 近似方法联系起来。
• 与 SDCA 及其他对偶坐标上升方法进行全面比较，展示在真实和合成数据集上，SDNA 在运行时间和收敛性方面的优势。

提出的方法

• 提出正则化经验风险最小化问题的对偶形式，当使用 L2 正则化时，对偶目标函数为一个拟凹二次函数加上一个可分项。
• 在每次迭代中，选择一组随机的对偶变量（对应于一个数据小批量），并求解涉及对偶目标函数 Hessian 主子矩阵的近端子问题。
• 在所选对偶变量张成的子空间上进行精确最大化，确保充分利用所选数据点的完整曲率信息。
• 推导出 SDNA 的原始解释：当损失为二次函数时，SDNA 等价于迭代 Hessian 投影法的一种变体，从而将其与基于投影视图的 Hessian 近似技术联系起来。
• 将 Shalev-Shwartz & Zhang (2013d) 的收敛性分析技术推广至任意采样策略，从而为期望对偶间隙的复杂度边界提供支持。
• 提出 SDCA 的小批量变体以实现公平比较，突出 SDNA 与 SDCA 在小批量大小增加时行为上的差异。

实验结果

研究问题

• RQ1 能否设计一种随机对偶方法，在充分利用随机数据子集曲率信息的同时实现几何收敛？
• RQ2 SDNA 的收敛速率如何随小批量大小增加而变化？与 SDCA 等一阶梯度方法相比是否有所改善？
• RQ3 在哪些场景下，SDNA 在数据遍历次数和运行时间方面优于现有对偶坐标上升方法？
• RQ4 SDNA 是否可被解释为二次损失函数下迭代 Hessian 投影法的一种新颖变体？
• RQ5 随着小批量大小增加，SDNA 在迭代代价与收敛速度之间存在何种权衡？

主要发现

• SDNA 实现了期望对偶间隙的几何收敛，且收敛速率随小批量大小增加而提升——这与 SDCA 相反，后者在小批量增大时需要更多遍历次数。
• 对于相同问题，SDNA 在小批量较大时显著减少了数据遍历次数，从而在实践中实现更快收敛。
• 在真实和合成数据集上，SDNA 在小批量大小达到 16 之前表现出更优的运行时间性能，此后迭代代价开始占主导地位，性能下降。
• 该方法的运行时间优势在密集问题中最为显著，此时完整子 Hessian 的曲率信息可带来显著加速。
• 当损失为二次函数时，SDNA 等价于迭代 Hessian 投影法的一种新颖变体，从而在理论上建立了对偶牛顿方法与基于投影视图的 Hessian 近似方法之间的联系。
• 数值实验确认，由于子问题求解规模增大，SDNA 的迭代代价随小批量大小增加而上升，但总体运行时间在小到中等小批量大小下仍具优势。