[论文解读] Statistical Inference for Model Parameters in Stochastic Gradient Descent

Xi Chen, Jason D. Lee+2 more|arXiv (Cornell University)|Oct 27, 2016

Stochastic Gradient Optimization Techniques参考文献 37被引用 31

一句话总结

该论文通过构建平均迭代的渐近协方差矩阵的一致估计量，提出了计算高效的随机梯度下降（SGD）统计推断方法。它引入了插补估计量和批量均值估计量，可在不存储数据的情况下实现渐近有效的置信区间和假设检验，并进一步开发了一种去偏SGD变体，用于高维线性回归，其系数估计量具有渐近正态性。

ABSTRACT

The stochastic gradient descent (SGD) algorithm has been widely used in statistical estimation for large-scale data due to its computational and memory efficiency. While most existing works focus on the convergence of the objective function or the error of the obtained solution, we investigate the problem of statistical inference of true model parameters based on SGD when the population loss function is strongly convex and satisfies certain smoothness conditions. Our main contributions are two-fold. First, in the fixed dimension setup, we propose two consistent estimators of the asymptotic covariance of the average iterate from SGD: (1) a plug-in estimator, and (2) a batch-means estimator, which is computationally more efficient and only uses the iterates from SGD. Both proposed estimators allow us to construct asymptotically exact confidence intervals and hypothesis tests. Second, for high-dimensional linear regression, using a variant of the SGD algorithm, we construct a debiased estimator of each regression coefficient that is asymptotically normal. This gives a one-pass algorithm for computing both the sparse regression coefficients and confidence intervals, which is computationally attractive and applicable to online data.

研究动机与目标

• 实现对通过随机梯度下降（SGD）估计的模型参数的统计推断——特别是置信区间和假设检验，而SGD通常仅用于点估计。
• 解决在高维或流式设置下，缺乏在线、计算高效的SGD迭代渐近协方差矩阵估计方法的问题。
• 开发一种用于高维线性回归的一次遍历算法，同时估计稀疏系数及其置信区间，使用去偏SGD变体。
• 确保所提出的推断方法具有一致性且渐近有效，无需存储所有历史数据或梯度。

提出的方法

• 通过从在线SGD迭代中构造截断Hessian估计量 eAn 和梯度噪声的样本协方差估计量 Sn，提出渐近协方差矩阵 A⁻¹SA⁻¹ 的插补估计量。
• 引入一种批量均值估计量，仅使用SGD迭代序列计算协方差估计，避免了存储所有数据或计算Hessian逆矩阵的需求。
• 通过在SGD更新中引入基于精度矩阵估计的校正项，开发了一种高维线性回归系数的去偏估计量，实现了渐近正态性。
• 采用Polyak-Ruppert平均（ASGD）稳定迭代，确保收敛到正态极限分布。
• 利用截断和浓度不等式控制高维设置下的估计误差，尤其在稀疏性假设下。
• 在强凸性、Lipschitz连续梯度和次高斯噪声条件下，推导出理论一致性与渐近正态性结果。

实验结果

研究问题

• RQ1 我们能否在不存储整个数据集的情况下，为通过SGD估计的模型参数构建渐近有效的置信区间？
• RQ2 如何以在线、内存高效的方式估计平均SGD迭代的渐近协方差矩阵？
• RQ3 我们能否将SGD扩展到在具有稀疏性的高维线性回归中提供有效推断，包括单个系数的置信区间？
• RQ4 去偏SGD估计量在何种理论条件下具有渐近正态性和一致性？
• RQ5 所提出的估计量（插补与批量均值）在有限样本性能和计算效率方面如何比较？

主要发现

• 插补估计量和批量均值估计量对渐近协方差矩阵 A⁻¹SA⁻¹ 均具有一致性，可实现渐近精确的置信区间和假设检验。
• 批量均值估计量在计算上比插补估计量更高效，且无需计算Hessian矩阵或存储所有迭代值。
• 在高维线性回归中，所提出的去偏SGD估计量实现了渐近正态性，并可实现稀疏系数及其置信区间的单次遍历计算。
• 模拟结果表明，置信区间的覆盖概率接近名义水平（例如95%），即使在中等相关性（r=0.6）和高维设置下也表现良好。
• 置信区间的平均长度随相关性和维度增加而增长，但始终接近Oracle长度，表明有限样本性能良好。
• 在设计矩阵协方差的最小特征值减小的情况下，方法仍具鲁棒性，这在Toeplitz和等相关结构中均得到验证。