[论文解读] Stochastic Second-Order Optimization via von Neumann Series

Mojmír Mutný|arXiv (Cornell University)|Dec 14, 2016

Stochastic Gradient Optimization Techniques参考文献 12被引用 7

一句话总结

该论文提出 ISSA，一种基于冯·诺依曼级数迭代逼近海森逆矩阵的随机二阶优化算法，可实现大规模线性模型的高效训练。与先前方法相比，其在更宽松的条件下实现线性收敛，且在数值实验中性能与 L-BFGS 相当，同时相比 LISSA 具有更高的稳定性与更低的参数依赖性。

ABSTRACT

A stochastic iterative algorithm approximating second-order information using von Neumann series is discussed. We present convergence guarantees for strongly-convex and smooth functions. Our analysis is much simpler in contrast to a similar algorithm and its analysis, LISSA. The algorithm is primarily suitable for training large scale linear models, where the number of data points is very large. Two novel analyses, one showing space independent linear convergence, and one showing conditional quadratic convergence are discussed. In numerical experiments, the behavior of the error is similar to the second-order algorithm L-BFGS, and improves the performance of LISSA for quadratic objective function.

研究动机与目标

• 开发一种更高效且稳定的随机二阶优化算法，用于大规模线性模型。
• 与现有方法（如 LISSA）相比，简化收敛性分析，无需预热启动。
• 通过减少参数依赖性并契合实际实现，实现算法的实际部署。
• 在特定梯度条件下探索条件二次收敛性。
• 通过更重视较新的海森样本，提升在线与自适应设置下的稳定性。

提出的方法

• 该算法使用无偏海森样本，通过冯·诺依曼级数展开，迭代构造海森逆矩阵的近似。
• 采用固定步长，基于采样的海森矩阵，使用截断级数更新海森逆矩阵近似。
• 该方法假设海森矩阵已缩放，使其谱范数不超过 1，以确保级数收敛。
• 提出两种变体：一种为实用版本，重用过去的海森样本；另一种为理论版本，需完全重新估计。
• 提出一种在线变体，其中梯度与海森样本独立抽取，支持对非平稳目标的适应。
• 该算法天然地降低旧信息的权重，支持时变优化问题中的自适应行为。

实验结果

研究问题

• RQ1 基于冯·诺依曼级数的随机二阶方法是否能在无需预热启动的情况下实现线性收敛？
• RQ2 所提算法是否如条件二次收敛性所暗示的那样，表现出更快的初始收敛速度？
• RQ3 在大规模二次与真实世界数据集上，该算法的性能与 L-BFGS 和 LISSA 相比如何？
• RQ4 梯度与海森估计器之间的共享采样对算法稳定性有何影响？
• RQ5 通过自然降低过时信息的权重，该算法是否能有效适应非平稳目标？

主要发现

• 在比 LISSA 更宽松的条件下，该算法实现了与空间无关的线性收敛，且无需初始时靠近最优解。
• 在特定梯度条件下，建立了条件二次收敛速率，解释了该方法在初期的快速进展。
• 数值实验表明，ISSA 的误差行为与 L-BFGS 非常接近，在二次目标上优于 LISSA。
• 当海森采样批次大小超过梯度采样批次大小时，会出现稳定性问题，表明需要自适应地增加梯度批次大小。
• 当梯度批次大小随时间自适应增加时，该算法表现出更高的稳定性和更快的收敛速度。
• 该方法天然地降低旧海森信息的权重，表明其适用于在线与非平稳优化场景。