[论文解读] Optimal Stochastic Strongly Convex Optimization with a Logarithmic Number of Projections

Jianhui Chen, Tianbao Yang+3 more|arXiv (Cornell University)|Apr 19, 2013

Sparse and Compressive Sensing Techniques参考文献 30被引用 4

一句话总结

该论文提出Epro-SGD，一种用于具有复杂约束的随机强凸优化的基于轮次的随机梯度下降方法。通过在轮次内应用SGD并在每个轮次仅进行一次投影，该方法在仅需O(log T)次投影的情况下实现了最优的O(1/T)收敛速率，显著降低了计算成本，同时在实践中保持了高精度和鲁棒性。

ABSTRACT

We consider stochastic strongly convex optimization with a complex inequality constraint. This complex inequality constraint may lead to computationally expensive projections in algorithmic iterations of the stochastic gradient descent~(SGD) methods. To reduce the computation costs pertaining to the projections, we propose an Epoch-Projection Stochastic Gradient Descent~(Epro-SGD) method. The proposed Epro-SGD method consists of a sequence of epochs; it applies SGD to an augmented objective function at each iteration within the epoch, and then performs a projection at the end of each epoch. Given a strongly convex optimization and for a total number of $T$ iterations, Epro-SGD requires only $\\log(T)$ projections, and meanwhile attains an optimal convergence rate of $O(1/T)$, both in expectation and with a high probability. To exploit the structure of the optimization problem, we propose a proximal variant of Epro-SGD, namely Epro-ORDA, based on the optimal regularized dual averaging method. We apply the proposed methods on real-world applications; the empirical results demonstrate the effectiveness of our methods.

研究动机与目标

• 为解决在正定或多面体集等复杂约束下，随机梯度下降（SGD）中频繁投影带来的高计算成本问题。
• 开发一种高效算法，在最小化昂贵投影操作次数的同时保持最优收敛速率。
• 设计一种在大规模机器学习问题中具有复杂可行域时，兼具理论严谨性与实际有效性的方法。
• 通过引入近端变体Epro-ORDA，扩展该方法以利用优化问题中的结构特性（如稀疏性）。

提出的方法

• Epro-SGD方法将优化过程组织为轮次，在每个轮次内对扩展目标函数应用标准SGD，以避免中间投影。
• 在每个轮次结束时进行一次投影以确保可行性，从而在T次迭代中将总投影次数减少至O(log T)。
• 扩展目标函数通过对数障碍或正则化方式引入约束，使轮次内可高效进行梯度更新而无需约束投影。
• 该方法利用强凸性和具有有界方差的随机梯度预言机，确保在期望和高概率下收敛。
• Epro-ORDA通过集成最优正则化对偶平均（ORDA）方法，扩展了Epro-SGD，使结构化问题的高效近端映射成为可能。
• 该算法采用自适应步长和依赖轮次的学习率，以平衡收敛速度与可行性。

实验结果

研究问题

• RQ1 我们能否在不牺牲收敛速率的前提下，减少具有复杂约束的强凸优化问题中SGD的投影次数？
• RQ2 基于轮次的投影策略是否能在期望和高概率下保持最优的O(1/T)收敛速率？
• RQ3 该轮次-投影方法的近端变体能否利用问题结构（如稀疏性或低秩约束）进一步提升效率？
• RQ4 与现有的单次投影或全投影SGD方法相比，所提方法在收敛速度和计算成本方面表现如何？

主要发现

• Epro-SGD在期望和高概率下均实现了最优的O(1/T)收敛速率，与随机强凸优化的理论下界一致。
• 该方法在T次迭代中仅需O(log T)次投影，显著降低了正定约束下SVD等昂贵投影操作的计算负担。
• 在约束Lasso和LMNN的实验中，Epro-SGD的收敛速度优于SGD、OneProj和LogT，在更少迭代次数和更短计算时间内达到更低的目标值。
• 在Cora数据集上，Epro-SGD在3622秒内达到收敛，优于OneProj和LogT，尽管后两者的最终目标值相近，但耗时显著更长。
• Epro-ORDA变体成功利用了问题结构，实现了高效的近端更新，在保持对数级投影次数的同时维持了最优收敛性。
• 实验结果表明，Epro-SGD不仅理论最优，而且在计算密集型约束场景下表现出实际高效性。