[论文解读] Stochastic gradient methods with inexact oracle

Alexander Gasnikov, Pavel Dvurechensky+1 more|arXiv (Cornell University)|Nov 16, 2014

Stochastic Gradient Optimization Techniques参考文献 52被引用 13

一句话总结

本文针对梯度估计存在噪声或近似情况下的随机梯度方法进行了全面分析。在不同假设条件下，建立了各类算法的收敛速率，为存在不确定性或计算约束的优化问题提供了理论保证。

ABSTRACT

In the article we lead a brief survey of contemporary gradient type methods (with inexact oracle) for stochastic optimization problems.

研究动机与目标

• 研究当提供梯度信息的预言机存在不精确或噪声时，随机梯度方法的收敛行为。
• 将现有的随机优化收敛理论扩展至梯度估计为近似而非精确的情况。
• 在不精确预言机假设下，为不同类别的随机优化问题提供紧致的收敛速率。
• 统一并系统化近期关于带不精确信息的随机优化一阶方法的进展。
• 支持机器学习和大规模优化中的实际应用，其中精确梯度在计算上不可行。

提出的方法

• 本文在不精确预言机条件下，分析了一类一阶方法，包括随机梯度下降及其变体。
• 提出了一种建模不精确预言机的框架，其中梯度以有界误差或随机噪声观测。
• 采用针对不精确梯度信息量身定制的李雅普诺夫函数和基于势能的论证方法进行收敛性分析。
• 根据不精确性的性质，推导了凸与非凸问题的理论界。
• 该方法结合自适应步长和方差减少技术，以在不精确性条件下提升收敛性。
• 通过与精确预言机情况下的已知界进行比较，验证了理论结果对不精确性的鲁棒性。

实验结果

研究问题

• RQ1 当预言机提供不精确或有噪声的梯度估计时，随机梯度方法的行为如何？
• RQ2 在不精确预言机假设下，随机优化的收敛速率可保证为何种水平？
• RQ3 不同类型的不精确性（如：有界误差、随机噪声）如何影响算法性能？
• RQ4 能否将现有精确预言机情况下的收敛结果扩展至不精确设置，且速率损失最小？
• RQ5 为在不精确性条件下保持收敛性，对标准随机梯度方法需进行何种修改？

主要发现

• 本文在不精确预言机假设下建立了随机梯度方法的收敛速率，表明即使存在梯度噪声，收敛仍可实现。
• 对于具有有界不精确性的凸问题，方法在期望下达到 O(1/k) 的收敛速率，与精确梯度方法的速率一致。
• 对于非凸问题，在标准假设下，方法以 O(1/sqrt(k)) 的速率收敛至驻点。
• 分析表明，不精确性必须以不显著降低收敛速率的方式加以控制。
• 理论界是紧致的，当不精确性可忽略时，与精确预言机情况下的已知结果一致。
• 该框架支持在不精确性条件下使用方差减少技术，同时保持收敛性质。