[论文解读] On Projected Stochastic Gradient Descent Algorithm with Weighted Averaging for Least Squares Regression

Kobi Cohen, Angelia Nedić+1 more|arXiv (Cornell University)|Jun 9, 2016

Stochastic Gradient Optimization Techniques参考文献 26被引用 5

一句话总结

该论文提出了一种带有加权平均的投影随机梯度下降算法（PSGD-WA），用于最小二乘回归，采用递减步长和迭代值的加权平均以提升收敛性。该方法提供了具有 O(1/k) 收敛速率的有限样本误差界，表明方差项占主导且以 1/k 的速率衰减，而约束集项以 log k / k² 的速率衰减，并证明了渐近收敛比 ρ ≤ 4（当 d ≥ 1 时）以及 ρ ≤ 4/3（当 d = 1 时）。

ABSTRACT

The problem of least squares regression of a $d$-dimensional unknown parameter is considered. A stochastic gradient descent based algorithm with weighted iterate-averaging that uses a single pass over the data is studied and its convergence rate is analyzed. We first consider a bounded constraint set of the unknown parameter. Under some standard regularity assumptions, we provide an explicit $O(1/k)$ upper bound on the convergence rate, depending on the variance (due to the additive noise in the measurements) and the size of the constraint set. We show that the variance term dominates the error and decreases with rate $1/k$, while the term which is related to the size of the constraint set decreases with rate $\log k/k^2$. We then compare the asymptotic ratio $ρ$ between the convergence rate of the proposed scheme and the empirical risk minimizer (ERM) as the number of iterations approaches infinity. We show that $ρ\leq 4$ under some mild conditions for all $d\geq 1$. We further improve the upper bound by showing that $ρ\leq 4/3$ for the case of $d=1$ and unbounded parameter set. Simulation results demonstrate strong performance of the algorithm as compared to existing methods, and coincide with $ρ\leq 4/3$ even for large $d$ in practice.

研究动机与目标

• 解决在计算资源受限条件下高效进行最小二乘回归的挑战，尤其适用于大规模或流式数据。
• 克服标准 SGD 的局限性，后者可能收敛缓慢或需要对常数步长进行调优。
• 通过结合投影 SGD 与迭代值的加权平均，提升有限样本下的性能，以加速收敛。
• 分析所提算法与经验风险最小化器（ERM）之间的收敛速率及渐近收敛比 ρ，特别是在高维设置下。
• 提供一个有限样本误差界，明确量化噪声方差与约束集大小之间的权衡。

提出的方法

• 提出一种使用单次数据遍历的投影随机梯度下降算法，结合迭代值的加权平均（PSGD-WA）。
• 采用形式为 c/(k + γ) 的递减步长，其中 c > 0 且 γ ≥ 1 为可调参数。
• 使用与步长成比例的权重对历史迭代值进行加权平均，使近期估计具有更高影响力。
• 对有界且凸的约束集 Ω ⊆ ℝ^d 进行投影，以确保稳定性和收敛性。
• 通过将误差分解为方差项和偏差项进行分析，其中方差项依赖于测量噪声，偏差项依赖于 Ω 的直径。
• 利用随机逼近理论和集中不等式，推导出期望误差的有限样本界。

实验结果

研究问题

• RQ1 所提出的 PSGD-WA 算法在最小二乘回归中的有限样本收敛速率是什么？
• RQ2 误差分解为方差项与与约束集相关的项时，其随时间的变化行为如何？
• RQ3 当迭代次数趋于无穷时，PSGD-WA 与经验风险最小化器（ERM）之间的渐近收敛比 ρ 是多少？
• RQ4 在有限样本精度方面，PSGD-WA 与现有带平均的 SGD 变体相比表现如何？
• RQ5 收敛比 ρ 是否可独立于维度 d 进行有界控制？在 d = 1 时其行为如何？

主要发现

• 所提出的 PSGD-WA 算法实现了具有 O(1/k) 收敛速率的有限样本误差界。
• 误差中的方差项以 1/k 的速率衰减，而与约束集直径相关的项以 log k / k² 的速率衰减。
• 在温和条件下，PSGD-WA 与 ERM 之间的渐近收敛比 ρ 满足 ρ ≤ 4（对所有 d ≥ 1）。
• 在 d = 1 的特殊情况下，且参数集无界时，上界可改进为 ρ ≤ 4/3。
• 仿真结果证实了其强大的经验性能，即使在大 d 情况下也观察到 ρ ≤ 4/3，表明其在实际中具有鲁棒性。
• 该算法无需几何增长的批量大小或较小的初始步长，因此适用于非渐近场景。