[论文解读] Online Covariance Matrix Estimation in Stochastic Gradient Descent

Wanrong Zhu, Xi Chen+1 more|arXiv (Cornell University)|Feb 10, 2020

Stochastic Gradient Optimization Techniques参考文献 42被引用 4

一句话总结

本文提出了一种完全在线的、递归的平均随机梯度下降（ASGD）迭代值协方差矩阵估计器，可在不存储历史数据的情况下实现实时统计推断。该方法实现了与离线估计器相当的一致性和最优收敛速率，支持随着新数据到达而动态更新置信区间。

ABSTRACT

The stochastic gradient descent (SGD) algorithm is widely used for parameter estimation, especially for huge data sets and online learning. While this recursive algorithm is popular for computation and memory efficiency, quantifying variability and randomness of the solutions has been rarely studied. This paper aims at conducting statistical inference of SGD-based estimates in an online setting. In particular, we propose a fully online estimator for the covariance matrix of averaged SGD iterates (ASGD) only using the iterates from SGD. We formally establish our online estimator's consistency and show that the convergence rate is comparable to offline counterparts. Based on the classic asymptotic normality results of ASGD, we construct asymptotically valid confidence intervals for model parameters. Upon receiving new observations, we can quickly update the covariance matrix estimate and the confidence intervals. This approach fits in an online setting and takes full advantage of SGD: efficiency in computation and memory.

研究动机与目标

• 解决尽管在线随机梯度下降（SGD）具有计算和内存效率优势，但其缺乏不确定性量化的问题。
• 提出一种完全在线的方法，仅使用SGD迭代值来估计ASGD迭代值的协方差矩阵，无需存储离线数据。
• 通过支持新观测值到达时置信区间的动态更新，实现实时统计推断。
• 确保估计器的收敛速率与离线方法相当，从而在在线设置中保持统计效率。
• 在标准正则性条件下，正式建立所提在线协方差估计器的一致性和渐近正态性。

提出的方法

• 提出一种仅基于SGD迭代序列的ASGD迭代值协方差矩阵的递归在线估计器。
• 利用ASGD的渐近正态性，基于估计的协方差矩阵构建置信区间。
• 设计一种基于块的估计器，将SGD迭代值划分为块，以降低方差并改善收敛性质。
• 采用固定宽度的序列停止规则，确定在线推断中的终止条件，确保以高概率达到期望精度。
• 应用估计器偏差和方差的理论界，证明在正则性条件下的一致性和收敛速率。
• 证明估计器的均方误差衰减速率与离线方法相当，且在高维设置下具有最优缩放特性。

实验结果

研究问题

• RQ1 能否构建一种完全在线的ASGD迭代值协方差矩阵估计器，使其在保持统计效率和一致性的同时有效运行？
• RQ2 所提出的在线协方差估计器的收敛速率与离线方法相比如何？
• RQ3 如何仅使用SGD迭代值实现实时动态更新模型参数的置信区间？
• RQ4 何种停止规则可在最小化计算成本的同时确保在线推断的期望精度？
• RQ5 估计器的基于块的结构在有限样本中如何影响偏差与方差？

主要发现

• 所提出的在线协方差估计器具有一致性，其均方误差以 $ O(n^{-1/eta} + n^{2eta heta - 2}) $ 的速率衰减，其中 $ eta $ 控制块大小，$ heta $ 与步长衰减相关。
• 估计器的收敛速率与离线方法相当，偏差项衰减为 $ O(n^{eta heta - 1}) $，方差项为 $ O(n^{-1/eta}) $。
• 该估计器支持新数据到达时置信区间的动态递归更新，从而支持实时统计推断。
• 仿真结果表明，固定宽度的序列停止规则在合理迭代次数内终止（例如，$ d=20 $ 的逻辑回归中约为45万次），且覆盖率接近名义水平（如0.84–0.91）。
• 估计器的偏差主要由块间协方差主导，且随块间距离呈指数衰减，这为基于块的设计提供了理论依据。
• 理论分析证实，在标准正则性条件下，估计器的偏差和方差均可得到有效控制，从而确保推断的渐近有效性。