[论文解读] Stochastic quasi-Newton with adaptive step lengths for large-scale problems

Adrian Wills, Thomas B. Schön|arXiv (Cornell University)|Feb 12, 2018

Stochastic Gradient Optimization Techniques参考文献 37被引用 4

一句话总结

该论文提出了一种用于大规模优化的随机拟牛顿方法，采用自适应步长，通过辅助变量构造和回溯历史的逆海森矩阵近似，有效利用曲率信息。该方法在包含数百万个数据点和未知数的真实问题上实现了稳健且快速的收敛，通过高效的二阶更新和随机线搜索自适应，优于当前最先进方法。

ABSTRACT

We provide a numerically robust and fast method capable of exploiting the local geometry when solving large-scale stochastic optimisation problems. Our key innovation is an auxiliary variable construction coupled with an inverse Hessian approximation computed using a receding history of iterates and gradients. It is the Markov chain nature of the classic stochastic gradient algorithm that enables this development. The construction offers a mechanism for stochastic line search adapting the step length. We numerically evaluate and compare against current state-of-the-art with encouraging performance on real-world benchmark problems where the number of observations and unknowns is in the order of millions.

研究动机与目标

• 开发一种在包含数百万个数据点和未知数的大规模随机非凸问题中具有数值鲁棒性和快速收敛的优化方法。
• 通过基于有限历史迭代点和梯度的逆海森矩阵近似，利用局部曲率信息。
• 在马尔可夫链框架内，通过随机线搜索机制实现自适应步长选择。
• 通过仅需三个参数（小批量大小、内存大小和正则化权重）来减少用户调参。
• 使用Cholesky更新策略确保逆海森矩阵近似在计算效率和数值稳定性方面的优势。

提出的方法

• 引入辅助变量技巧以构建扩展的马尔可夫链，实现在随机优化中具有曲率感知的更新。
• 使用过去迭代点和随机梯度的滑动窗口计算逆海森矩阵近似，确保低内存和计算成本。
• 采用动态调整步长的随机线搜索，基于曲率和进展情况调节，提升早期收敛性能。
• 使用Cholesky因子更新策略，在更新逆海森矩阵近似时保持数值稳定性和计算效率。
• 应用拟牛顿更新规则 $ x_{k+1} = x_k - \alpha_k H_k g_k $，其中 $ H_k $ 为自适应曲率缩放矩阵，$ \alpha_k $ 为自适应步长。
• 利用随机梯度方法的马尔可夫链特性，实现稳定且基于曲率信息的优化路径构建。

实验结果

研究问题

• RQ1 能否在大规模随机优化中有效利用来自迭代点和梯度的回溯历史的曲率信息，以改善收敛性？
• RQ2 如何将自适应步长整合到随机拟牛顿方法中，以提升性能，尤其是在早期迭代阶段？
• RQ3 在高维设置和噪声梯度评估下，能否维持一种数值稳定且计算高效的逆海森矩阵近似？
• RQ4 所提方法是否在真实世界的大规模问题上优于现有最先进随机优化算法？
• RQ5 辅助变量构造在多大程度上使二阶信息能够在随机非凸优化框架中被有效利用？

主要发现

• 所提方法在包含数百万个数据点和未知数的真实世界基准问题上表现卓越，收敛速度和精度均优于基础随机梯度和Adam方法。
• 自适应步长机制显著改善了早期收敛性能，减少了标准随机梯度方法中常见的目标函数值上升现象。
• 通过有限历史迭代点和梯度计算的逆海森矩阵近似，其计算复杂度与数据规模呈线性关系，并通过Cholesky更新保持了数值稳定性。
• 该方法仅需三个用户可调参数——小批量大小、内存大小和正则化权重——展现出更低的调参复杂度。
• 数值实验表明，该方法具有鲁棒性和高效性，即使在使用500个粒子进行似然估计时，每次模拟的运行时间也未超过标准笔记本电脑的8秒。
• 在 $ \rho = 0 $ 且步长衰减的极限情况下，该方法退化为随机梯度方法，但由于自适应调节机制，其早期行为表现更优。