[论文解读] Online estimation of the asymptotic variance for averaged stochastic gradient algorithms

Antoine Godichon‐Baggioni|arXiv (Cornell University)|Feb 3, 2017

Stochastic Gradient Optimization Techniques参考文献 43被引用 15

一句话总结

本文提出了一种递归在线算法，用于在一般希尔伯特空间中估计平均随机梯度估计器的渐近方差，建立了几乎必然收敛和二次均值收敛速率。该研究扩展了标准和平均随机梯度算法的渐近正态性结果，使得在高维和在线学习设置下能够进行有效的统计推断。

ABSTRACT

Stochastic gradient algorithms are more and more studied since they can deal efficiently and online with large samples in high dimensional spaces. In this paper, we first establish a Central Limit Theorem for these estimates as well as for their averaged version in general Hilbert spaces. Moreover, since having the asymptotic normality of estimates is often unusable without an estimation of the asymptotic variance, we introduce a new recursive algorithm for estimating this last one, and we establish its almost sure rate of convergence as well as its rate of convergence in quadratic mean. Finally, two examples consisting in estimating the parameters of the logistic regression and estimating geometric quantiles are given.

研究动机与目标

• 解决在高维和在线设置下，针对平均随机梯度算法缺乏高效递归渐近方差估计的问题。
• 在一般希尔伯特空间中，为标准和平均随机梯度估计器建立渐近正态性。
• 在温和的正则性和局部强凸性假设下，为所提出的递归方差估计器提供理论收敛速率。
• 在大规模和序列数据背景下，实现随机梯度方法的实际统计推断（例如，置信区间）。
• 通过高维和函数型数据设置下的逻辑回归和几何分位数估计，展示方法的适用性。

提出的方法

• 在局部强凸性和矩条件假设下，推导出可分希尔伯特空间中平均随机梯度估计器的中心极限定理。
• 受Gahbiche和Pelletier（2000）的启发，提出一种递归算法，用于估计平均估计器的渐近方差。
• 利用鞅差序列和矩界，建立递归方差估计器的几乎必然收敛和 $ L^2 $ 收敛速率。
• 利用希尔伯特-施密特算子的函数框架，处理一般希尔伯特空间值梯度及其协方差结构。
• 应用关于矩界和指数和的技巧性引理，控制递归估计器的偏差和方差。
• 通过利用在线观测值逐步更新方差估计，实现递归计算，避免存储所有历史数据。

实验结果

研究问题

• RQ1 在局部强凸性假设下，能否在一般希尔伯特空间中为平均随机梯度估计器建立渐近正态性？
• RQ2 何种递归算法能够实现平均随机梯度估计器渐近方差的一致且收敛的在线估计？
• RQ3 所提出的递归方差估计器的几乎必然收敛和二次均值收敛速率为何？
• RQ4 该方法如何在高维和在线学习设置下实现有效的统计推断（例如，置信区间）？
• RQ5 该方法能否有效应用于逻辑回归和几何分位数估计等实际问题？

主要发现

• 本文在温和正则性和局部强凸性假设下，为可分希尔伯特空间中平均随机梯度估计器建立了中心极限定理。
• 所提出的渐近方差估计递归算法实现了几乎必然收敛和 $ L^2 $ 收敛，其收敛速率取决于步长调度和问题几何结构。
• 通过矩界和指数和不等式，正式推导出收敛速率，其显式依赖于与最优解的距离。
• 该方法适用于参数模型（如逻辑回归）和非参数鲁棒统计（如几何分位数）。
• 递归方差估计器被证明是一致且计算高效的，仅需在线更新，无需存储历史数据。
• 仿真结果和理论分析证实，该方法在高维和函数型数据设置下的序列数据流中具有有效性。