[论文解读] Stochastic Newton and Quasi-Newton Methods for Large Linear Least-squares Problems

Julianne Chung, Matthias Chung+2 more|arXiv (Cornell University)|Feb 23, 2017

Machine Learning and ELM参考文献 36被引用 8

一句话总结

本文通过使用随机采样矩阵将问题重新表述为随机优化任务，提出了一种用于大规模线性最小二乘问题的随机牛顿法和拟牛顿法。证明了随机拟牛顿迭代几乎必然收敛到真实的最小二乘解，同时表明在不相容系统中，随机牛顿迭代可能无法收敛到期望的解。

ABSTRACT

We describe stochastic Newton and stochastic quasi-Newton approaches to efficiently solve large linear least-squares problems where the very large data sets present a significant computational burden (e.g., the size may exceed computer memory or data are collected in real-time). In our proposed framework, stochasticity is introduced in two different frameworks as a means to overcome these computational limitations, and probability distributions that can exploit structure and/or sparsity are considered. Theoretical results on consistency of the approximations for both the stochastic Newton and the stochastic quasi-Newton methods are provided. The results show, in particular, that stochastic Newton iterates, in contrast to stochastic quasi-Newton iterates, may not converge to the desired least-squares solution. Numerical examples, including an example from extreme learning machines, demonstrate the potential applications of these methods.

研究动机与目标

• 解决大规模线性最小二乘问题的计算负担，其中数据超过内存容量或实时收集。
• 克服标准迭代求解器中重复计算 A 与 A^T 的矩阵-向量乘法的高昂成本。
• 开发利用随机采样矩阵近似完整问题的高效随机优化框架。
• 为随机拟牛顿方法建立理论收敛性保证，并识别随机牛顿方法的局限性。
• 通过利用采样矩阵中的稀疏性和结构，实现大规模问题的高效求解。

提出的方法

• 使用满足 E[WW^T] = βI_m 的随机矩阵 W，将最小二乘问题重新表述为随机优化问题。
• 定义随机目标函数 f_W(x) = (1/(2β)) ||W^T(Ax - b)||^2，其期望等于原始最小二乘目标函数。
• 使用随机逼近（SA）而非样本平均近似（SAA），通过新随机样本迭代更新解。
• 提出一种随机牛顿法，基于采样的 W 矩阵使用随机海森矩阵近似。
• 开发一种随机拟牛顿法，通过递归更新和历史样本维护并更新逆海森矩阵近似。
• 引入一种基于投影的更新方案，其中 H_k A 作为投影矩阵，以确保稳定性和收敛性。

实验结果

研究问题

• RQ1 在大规模不相容线性系统中，随机牛顿方法是否能收敛到真实的最小二乘解？
• RQ2 在何种条件下，随机拟牛顿方法几乎必然收敛到最小二乘解？
• RQ3 使用稀疏、结构化的采样矩阵如何影响随机优化方法的收敛性和计算效率？
• RQ4 与随机拟牛顿方法相比，随机牛顿方法在最小二乘问题背景下存在哪些理论局限性？
• RQ5 能否高效地将采样数据中的曲率信息整合到迭代求解器中，以加速大规模问题的收敛？

主要发现

• 在标准假设下，即使在不相容系统中，随机拟牛顿迭代也几乎必然收敛到真实的最小二乘解。
• 在不相容系统中，随机牛顿迭代可能无法收敛到期望解，而是收敛到相关问题的另一个解。
• 当满足 ∑α_k = ∞ 且 ∑α_k² < ∞ 时，随机拟牛顿方法的收敛性得到保证，且误差 e_k 几乎必然收敛到零。
• 随机拟牛顿方法中的逆海森矩阵近似通过递归方案高效更新，整合了所有先前样本的信息。
• 通过使用采样矩阵 W 的稀疏实现，该方法显著降低了矩阵-向量乘积的计算成本，从而实现计算效率。
• 数值实验，包括来自极少数学习机的一个实例，表明所提方法在实际应用中优于标准求解器，展现出性能提升。