[论文解读] Stochastic Optimization Using a Trust-Region Method and Random Models

Ruobing Chen, Matt Menickelly+1 more|arXiv (Cornell University)|Apr 16, 2015

Stochastic Gradient Optimization Techniques参考文献 23被引用 12

一句话总结

本文提出了一种用于随机优化的信赖域方法，该方法使用目标函数的随机模型和噪声函数估计，在一般条件下实现了几乎必然的全局收敛至一阶平稳点。该方法对有偏噪声具有鲁棒性，在数值实验中优于传统的随机梯度和样本平均方法。

ABSTRACT

In this paper, we propose and analyze a trust-region model-based algorithm for solving unconstrained stochastic optimization problems. Our framework utilizes random models of an objective function $f(x)$, obtained from stochastic observations of the function or its gradient. Our method also utilizes estimates of function values to gauge progress that is being made. The convergence analysis relies on requirements that these models and these estimates are sufficiently accurate with sufficiently high, but fixed, probability. Beyond these conditions, no assumptions are made on how these models and estimates are generated. Under these general conditions we show an almost sure global convergence of the method to a first order stationary point. In the second part of the paper, we present examples of generating sufficiently accurate random models under biased or unbiased noise assumptions. Lastly, we present some computational results showing the benefits of the proposed method compared to existing approaches that are based on sample averaging or stochastic gradients.

研究动机与目标

• 开发一种基于信赖域的优化框架，用于无约束随机问题，其中仅可获得噪声函数值或梯度观测。
• 在模型和估计精度的弱且一般条件下，建立对一阶平稳点的全局收敛保证。
• 证明该方法对有偏噪声和异常值具有鲁棒性，而现有随机梯度或样本平均方法则不具备此特性。
• 在机器学习设置中，通过实验比较该方法与Adagrad等成熟方法的性能。
• 证明即使在每次迭代中模型精度较低的情况下，也无需高精度模型，从而实现实际应用中的良好性能。

提出的方法

• 该算法使用随机、噪声的函数值或梯度观测，构建目标函数的局部二次模型。
• 采用信赖域子问题确定步长，确保基于模型的增广目标函数充分下降。
• 利用当前点和试验点的函数估计值来监控进展，并决定接受或拒绝步长。
• 要求模型具有第一阶精度，且函数估计在固定高概率下足够准确，且独立于采样机制。
• 不假设噪声无偏或特定采样分布，从而在模型生成方面具有灵活性。
• 该框架应用于机器学习中的经验风险最小化，使用随机Hessian矩阵和梯度估计。

实验结果

研究问题

• RQ1 能否将信赖域方法适配于仅具有噪声函数值和梯度观测的随机优化问题？
• RQ2 对模型和估计精度的最小概率条件是什么，才能确保向一阶平稳点的全局收敛？
• RQ3 与随机梯度和样本平均方法相比，该方法在实际中表现如何，特别是在有偏噪声条件下？
• RQ4 当每次迭代中模型仅以低概率准确时，该方法是否仍能实现良好性能？
• RQ5 该方法在大规模数据集上的逻辑回归等机器学习问题中是否具有良好泛化能力？

主要发现

• 在模型和估计精度的温和且一般条件下，该方法实现了对一阶平稳点的几乎必然全局收敛。
• 在数值实验中，STORM在模型仅约27%的时间内准确的情况下，仍能以精度<10−5求解100%的10维二次问题。
• 在逻辑回归问题中，STORM表现出稳定且持续下降的训练和测试损失轨迹，其收敛稳定性与泛化性能均优于Adagrad。
• 即使在有偏噪声条件下，该方法依然有效，而标准随机梯度或样本平均方法则不然。
• 理论预测所需的模型精度偏保守；实践中，即使在较低精度水平下，性能依然强劲。
• 该方法对异常值具有鲁棒性，且无需调整步长序列，而传统随机梯度方法则需要。