[论文解读] Tracking the gradients using the Hessian: A new look at variance reducing stochastic methods

Robert M. Gower, Nicolas Le Roux+1 more|arXiv (Cornell University)|Oct 20, 2017

Stochastic Gradient Optimization Techniques参考文献 14被引用 6

一句话总结

本文提出了一种新颖的方差缩减技术，通过使用 Hessian 矩阵在 SVRG 中动态追踪梯度，利用控制变量显著提升收敛速度。通过将 Hessian 矩阵近似为对角矩阵或低秩矩阵，该方法在保持线性计算成本的同时，理论上和实验上均比 SVRG 实现了更快的收敛速度，适用于多个数据集。

ABSTRACT

Our goal is to improve variance reducing stochastic methods through better control variates. We first propose a modification of SVRG which uses the Hessian to track gradients over time, rather than to recondition, increasing the correlation of the control variates and leading to faster theoretical convergence close to the optimum. We then propose accurate and computationally efficient approximations to the Hessian, both using a diagonal and a low-rank matrix. Finally, we demonstrate the effectiveness of our method on a wide range of problems.

研究动机与目标

• 通过动态梯度追踪增强控制变量，改进方差缩减的随机优化方法。
• 探索利用二阶信息（Hessian）追踪梯度随时间的演变，而非用于预条件化。
• 开发计算高效的 Hessian 近似方法——对角和低秩形式，保持与维度的线性计算成本。
• 在理论分析和真实世界数据集的实验评估中，证明其收敛速度优于 SVRG。
• 通过最小化对超参数（如 secant 方程中的 $σ^2$）的敏感性，提升方法的鲁棒性和实际可用性。

提出的方法

• 提出一种改进的 SVRG 变体，利用 Hessian 构建线性模型以近似梯度演变，提升控制变量的相关性。
• 引入一种动态控制变量，每轮迭代均使用基于 Hessian 的梯度预测进行更新，增强与真实梯度的相关性。
• 提出两种高效的 Hessian 近似方法：对角和低秩（通过作用匹配实现），将计算成本从 $O(d^2)$ 降低至 $O(d)$。
• 采用二阶泰勒展开增量更新 Hessian 近似，实现在无需完整 Hessian 计算的前提下在线追踪梯度。
• 使用带有超参数 $σ^2$ 的鲁棒 secant 方程，稳定低秩 Hessian 更新，确保数值稳定性。
• 将该方法应用于带 $ell_2$ 正则化的逻辑回归，在标准 LIBSVM 数据集上，基于数据遍历次数和实际运行时间两种指标进行测试。

实验结果

研究问题

• RQ1 基于 Hessian 的梯度追踪是否能通过提高控制变量相关性，改善 SVRG 的收敛速度？
• RQ2 高效的 Hessian 近似（对角或低秩）是否能在保持与维度线性计算成本的同时，维持快速收敛？
• RQ3 将 Hessian 用于梯度追踪而非预条件化，是否能在方差缩减的随机优化中带来更好的性能？
• RQ4 该方法对超参数选择（如 secant 方程中的 $σ^2$）的敏感性如何？
• RQ5 所提方法是否在理论分析和实验评估中均实现比 SVRG 更快的收敛速度？

主要发现

• 所提方法中，采用对角 Hessian 近似的 2D 和 2Dsec 变体在所有测试数据集上均一致优于标准 SVRG，体现在数据遍历次数更少。
• 在实际运行时间方面，AMgauss 和 AMprev 方法（采用作用匹配的 Hessian 近似）效率最高，体现出低秩 Hessian 追踪的实用优势。
• 该方法允许比 SVRG 使用更大的步长，经网格搜索验证，最佳步长通常为 $2^a/L_{\text{max}}$，其中 $a$ 最高可达 10，表明其具有更好的稳定性。
• 超参数 $σ^2$ 对收敛的影响极小，表明方法对参数选择具有高度鲁棒性，所有主要实验均采用 $\sigma^2 = 0.1$。
• 理论分析表明，在解的邻域内，由于基于 Hessian 的追踪提升了控制变量相关性，收敛速度优于 SVRG。
• 在 covtype 数据集上，2D 和 2Dsec 表现最佳；而在 a9a 和 mushrooms 等其他数据集上，SVRG2sec 和 AM 变体表现更优，显示出方法依赖的优越性。