[论文解读] Variable Metric Stochastic Approximation Theory

Peter Sunehag, Jochen Trumpf+2 more|ArXiv.org|Aug 25, 2009

Advanced Bandit Algorithms Research参考文献 15被引用 17

一句话总结

本文建立了可变度量随机逼近的收敛性理论，证明了在一般条件下，使用自适应海森矩阵近似的在线优化方法（如在线BFGS和LBFGS）能够收敛。关键贡献在于建立了严格的理论基础，表明对于广泛的一类机器学习目标函数，其函数值收敛速度可达O(1/t)，即使度量矩阵在时间上不趋于稳定亦成立。

ABSTRACT

We provide a variable metric stochastic approximation theory. In doing so, we provide a convergence theory for a large class of online variable metric methods including the recently introduced online versions of the BFGS algorithm and its limited-memory LBFGS variant. We also discuss the implications of our results for learning from expert advice.

研究动机与目标

• 为在线学习设置中的可变度量随机逼近建立理论框架。
• 在最小假设条件下，证明在线拟牛顿方法（如oBFGS和oLBFGS）的收敛性。
• 通过消除对度量收敛至渐近形式的需求，扩展现有随机逼近理论。
• 分析使用Bregman散度进行专家建议学习的含义。
• 建立自适应度量确保在线优化中达到最优收敛速率的条件。

提出的方法

• 使用Robbins-Siegmund随机收敛定理分析时变度量更新。
• 将在线更新建模为$ w_{t+1} = w_t - a_t B_t \nabla_w C(w_t, z_t) $，其中$ B_t $为正定对称矩阵。
• 通过验证海森矩阵近似满足特征值与梯度的必要条件，将理论应用于在线BFGS和LBFGS。
• 将专家建议算法重新解释为在非线性重参数化下使用可变度量的随机梯度下降。
• 引入信赖域参数$ \lambda $以限制$ B_t $的最大特征值，确保数值稳定性。
• 通过验证重参数化函数的雅可比矩阵具有一致有界特征值，确保度量缩放的有效性，从而建立收敛性。

实验结果

研究问题

• RQ1 在不强制度量收敛至固定渐近形式的前提下，可变度量随机逼近是否仍能收敛？
• RQ2 在何种条件下，可实现在线拟牛顿方法在函数值上的O(1/t)收敛？
• RQ3 专家建议中的Bregman散度与使用可变度量的随机梯度下降有何关联？
• RQ4 在对梯度和海森矩阵近似的一般假设下，能否为在线BFGS和LBFGS提供理论依据？
• RQ5 在何种条件下，非线性重参数化可导致在线学习中达到最优收敛速率？

主要发现

• 本文证明了对于广泛的一类在线目标函数，函数值收敛速度可达O(1/t)，与数据到达速率所决定的最佳可能速率一致。
• 收敛性在不强制要求度量矩阵$ B_t $收敛至固定极限的前提下得以建立，扩展了先前结果。
• 在有界梯度和缩放矩阵特征值一致有界的温和假设下，证明了在线BFGS和LBFGS的收敛性。
• 当使用Bregman散度时，该理论适用于专家建议学习，通过将此类更新解释为使用可变度量的SGD。
• 引入信赖域参数$ \lambda $以防止$ B_t $的条件数无界增长，确保稳定性。
• 若海森矩阵近似始终保持下界和上界特征值，即使未完全稳定，o(L)BFGS的收敛性亦可保证。