[论文解读] Stochastic quasi-Newton with line-search regularization

Adrian Wills, Thomas B. Schön|arXiv (Cornell University)|Sep 3, 2019

Advanced Numerical Analysis Techniques参考文献 46被引用 7

一句话总结

本文提出了一种随机拟牛顿算法，通过高斯过程实现在线黑塞矩阵近似，并结合随机线搜索过程，以在非凸随机优化中提升收敛性。该方法在非线性系统辨识中有效处理了噪声梯度，相较于现有方法，在状态空间模型和MIMO Hammerstein-Wiener模型上表现出更优性能。

ABSTRACT

In this paper we present a novel quasi-Newton algorithm for use in stochastic optimisation. Quasi-Newton methods have had an enormous impact on deterministic optimisation problems because they afford rapid convergence and computationally attractive algorithms. In essence, this is achieved by learning the second-order (Hessian) information based on observing first-order gradients. We extend these ideas to the stochastic setting by employing a highly flexible model for the Hessian and infer its value based on observing noisy gradients. In addition, we propose a stochastic counterpart to standard line-search procedures and demonstrate the utility of this combination on maximum likelihood identification for general nonlinear state space models.

研究动机与目标

• 开发一种在噪声大、高维优化场景下利用二阶信息的随机拟牛顿方法。
• 通过提出一种随机Armijo型线搜索，解决随机优化中有效随机线搜索方法的缺失问题。
• 在似然函数不可计算但可通过顺序蒙特卡洛（SMC）估计的情况下，实现非线性状态空间模型中的高效最大似然估计。
• 提供一种鲁棒且自适应的优化框架，能够从噪声梯度中在线学习黑塞信息。
• 在具有挑战性的非线性系统辨识问题（包括干涉测量和MIMO Hammerstein-Wiener系统）上验证该方法的有效性。

提出的方法

• 使用高斯过程对黑塞矩阵进行建模，从而能够从噪声梯度观测中在线进行贝叶斯更新，获取二阶信息。
• 设计了一种随机线搜索过程，确保在早期迭代中满足期望的Armijo条件，适应问题的缩放和噪声水平。
• 采用混合步长策略：在早期阶段使用随机Armijo条件，随着黑塞估计的稳定，逐步过渡到确定性调度。
• 将该方法与顺序蒙特卡洛（SMC）结合，用于状态空间模型中无偏似然和梯度估计。
• 通过基于梯度差值的低秩更新方案，迭代更新黑塞近似，确保计算效率。
• 该方法可扩展以处理噪声黑塞观测，并可通过替代随机过程（如学生t过程）适应非高斯噪声。

实验结果

研究问题

• RQ1 能否通过在线黑塞学习的随机拟牛顿方法，在噪声梯度存在下的非凸随机优化中提升收敛性？
• RQ2 如何设计一种随机线搜索过程，使其在噪声大、缩放不良的问题中仍能保持收敛性？
• RQ3 所提方法是否能在非线性系统辨识任务中超越现有的SMC-based EM和拟牛顿方法？
• RQ4 在仅有有限、噪声梯度数据的随机设置下，使用高斯过程建模黑塞矩阵会产生何种影响？
• RQ5 从随机线搜索行为向确定性线搜索行为的过渡如何影响收敛性和稳定性？

主要发现

• QNGP算法在非线性干涉测量问题上实现了精确的参数估计，100次蒙特卡洛运行中，平均估计值接近真实值，标准差较低。
• 对于干涉测量问题，估计的参数α₀为−0.0035 ± 0.0026（真实值：0），α₁为0.992 ± 0.0034（真实值：1），β₀为−0.0001 ± 0.0027（真实值：0），β₁为1.01 ± 0.0042（真实值：1），γ为0.42 ± 0.01（真实值：0.4），σ为0.14 ± 0.0052（真实值：0.18）。
• 在MIMO Hammerstein-Wiener系统上，QNGP方法生成的Bode幅频响应与最先进的PSEM方法相当，且仅需前向滤波。
• QNGP方法在计算效率方面优于PSEM方法，每轮迭代仅需O(M)复杂度，而平滑器方法需O(M²)复杂度。
• 随机线搜索机制在问题缩放不良时实现了稳健收敛，随后过渡到确定性调度，提升了稳定性。
• 该方法在合成与真实世界系统辨识问题上均表现出强劲的实证性能，验证了其在复杂、高维场景下的实用性。