[论文解读] Tail bounds for stochastic approximation

Michael P. Friedlander, Gabriel Goh|arXiv (Cornell University)|Apr 20, 2013

Sparse and Compressive Sensing Techniques参考文献 25被引用 5

一句话总结

本文为凸优化中的随机逼近方法建立了指数尾部界限，表明随着样本量增加，随机近时代数梯度方法的收敛速率偏离确定性线性速率的概率呈指数衰减。该分析提供了对次优性间隙的高概率保证，补充了标准的期望收敛结果。

ABSTRACT

Stochastic-approximation gradient methods are attractive for large-scale convex optimization because they offer inexpensive iterations. They are especially popular in data-fitting and machine-learning applications where the data arrives in a continuous stream, or it is necessary to minimize large sums of functions. It is known that by appropriately decreasing the variance of the error at each iteration, the expected rate of convergence matches that of the underlying deterministic gradient method. Conditions are given under which this happens with overwhelming probability.

研究动机与目标

• 提供随机逼近迭代值与确定性解路径之间偏差的高概率界限，解决关于收敛可靠性实际问题的担忧。
• 通过更具信息量的概率保证，补充现有的基于期望的收敛分析，以更适用于迭代次数有限的实际运行场景。
• 在误差线性减少的前提下，推导出次优性间隙的指数衰减尾部界限，尤其针对样本平均梯度估计的场景。
• 将结果特化到通过无放回抽样估计梯度的情形，所得界限比经典的霍夫丁型不等式更紧。
• 建立在高概率下随机方法实现线性收敛速率的条件，而不仅是在期望意义下。

提出的方法

• 采用带有随机误差项 $ e_k $ 的近端梯度框架，以建模随机逼近中梯度估计的噪声。
• 应用全局误差界假设（8b），将到解集的距离与最优性条件的残差联系起来，从而在无需强凸性假设下实现收敛性分析。
• 使用霍夫丁型与塞尔夫林型集中不等式，分别处理有放回与无放回抽样，以界定样本均值与其期望之间的偏差。
• 通过对数不等式与无穷乘积估计（引理8–10）推导出指数尾部界限，特别利用了确定性方法中的 $ \rho $-线性收敛速率。
• 引入基于 $ \theta $ 下确界的变分界限，以优化尾部概率的指数衰减速率。
• 将该框架应用于 $ f(x) = \mathbb{E}_Z F(x,Z) $ 的情形，将随机梯度建模为 $ m_k $ 个独立同分布样本的样本均值。

实验结果

研究问题

• RQ1 在何种条件下，随机近端梯度方法能以高概率收敛到最优解，而不仅是在期望意义下？
• RQ2 随着迭代次数增加，次优性间隙 $ \pi_k = h(x_k) - \inf h(x) $ 超出某值的概率衰减速度如何？
• RQ3 当梯度误差随迭代线性减少时，能否为收敛速率推导出指数尾部界限？
• RQ4 在有放回抽样（霍夫丁）与无放回抽样（塞尔夫林）情形下，尾部界限有何差异？哪种情形提供更紧的保证？
• RQ5 随着样本量增加，随机方法显著偏离确定性线性收敛速率的概率如何变化？

主要发现

• 本文证明，在适当的误差衰减与抽样条件下，次优性间隙 $ \pi_k $ 超过 $ \rho^k \pi_0 + \epsilon $ 的概率在 $ \epsilon $ 上呈指数衰减。
• 对于线性减少的误差，尾部界限形式为 $ \Pr(\pi_k - \rho^k \pi_0 \geq \epsilon) \leq \left( \frac{e}{\alpha} \cdot \frac{\epsilon \nu}{x} \right)^\alpha \exp\left(-\frac{\epsilon \nu}{x}\right) $，其中 $ \alpha = \frac{1}{k} \left( \frac{1}{\log(1/y)} + 1 \right) $，表明指数衰减。
• 塞尔夫林界限（考虑无放回抽样）提供的集中界比霍夫丁更紧，尤其当样本量 $ m_k $ 相对于总数据集大小 $ M $ 较大时。
• 当 $ f(x) = \frac{1}{M} \sum_{i=1}^M f_i(x) $ 时，该方法在次优性间隙上实现了依赖于样本量 $ m_k $ 的指数衰减尾部界限，优于固定样本量大小的方法。
• 该分析基于全局误差界（8b），其弱于强凸性，适用于包括具有多面体正则化项及二次或最大型函数在内的广泛问题类别。
• 结果表明，随着样本量增加，随机逼近方法可在高概率下实现线性收敛速率，而不仅是在期望意义下。