[论文解读] SAGA: A Fast Incremental Gradient Method With Support for Non-Strongly Convex Composite Objectives

Aaron Defazio, Francis Bach+1 more|arXiv (Cornell University)|Jul 1, 2014

Sparse and Compressive Sensing Techniques参考文献 17被引用 928

一句话总结

SAGA 是一种新颖的增量梯度方法，在强凸和非强凸复合问题中均实现了比 SAG 和 SVRG 更快的收敛速度，且在复合设置中支持近端算子。它采用方差减少的更新策略，维护一个动态的过去梯度表，并能自动适应问题中固有的强凸性，而无需正则化或步长调优。

ABSTRACT

In this work we introduce a new optimisation method called SAGA in the spirit of SAG, SDCA, MISO and SVRG, a set of recently proposed incremental gradient algorithms with fast linear convergence rates. SAGA improves on the theory behind SAG and SVRG, with better theoretical convergence rates, and has support for composite objectives where a proximal operator is used on the regulariser. Unlike SDCA, SAGA supports non-strongly convex problems directly, and is adaptive to any inherent strong convexity of the problem. We give experimental results showing the effectiveness of our method.

研究动机与目标

• 开发一种比 SAG、SVRG 和 SDCA 等现有方法收敛更快且更具通用性的快速增量梯度方法。
• 通过近端算子支持带有不可微正则化项的复合目标，扩展其在 L1 正则化问题中的适用性。
• 直接应用于非强凸问题，无需添加人工正则化，避免引入额外超参数。
• 实现能自适应于问题中实际存在的强凸性的收敛速率，从而提升鲁棒性和性能。

提出的方法

• SAGA 为每个分量函数维护一个过去梯度值的表格，从而在随机更新中实现高效的方差减少。
• 在每次迭代中，随机选择一个索引 j，利用当前在 x^k 处的梯度来更新表格并计算校正后的梯度估计。
• 更新规则结合了当前梯度、同一分量的前一梯度以及所有过去梯度的平均值，以形成低方差估计。
• 对中间更新应用近端算子，以处理 L1 等非光滑正则化项，从而实现复合目标的优化。
• 在强凸情况下使用步长 γ = 1/(2(μn + L))，在非强凸情况下使用 γ = 1/(3L)，并能自动适应 μ。
• 该算法设计简洁高效，每个分量仅存储一个梯度，内存开销极低。

实验结果

研究问题

• RQ1 能否设计一种新型增量梯度方法，使其在支持复合目标的同时，收敛速度优于 SAG 和 SVRG？
• RQ2 该方法能否在不添加人工正则化的情况下，直接处理非强凸问题？
• RQ3 该方法是否能自动适应问题中实际存在的强凸性水平，从而在实践中提升收敛性能？
• RQ4 在强凸和非强凸设置下，SAGA 的理论收敛速率与 SDCA、SAG 和 SVRG 相比如何？

主要发现

• 在强凸情况下，SAGA 实现了 (1 - μ/(2(μn + L)))^k 的线性收敛速率，优于 SAG 和 SVRG，且与 SDCA 的最优速率相差不超过 2 倍。
• 在非强凸情况下，SAGA 对平均迭代点实现了 O(1/k) 的收敛速率，步长为 γ = 1/(3L)，达到目前已知的最佳速率。
• 该方法能自动适应问题中实际存在的强凸性 μ > 0，实现 (1 - min{1/(4n), μ/(3L)})^k 的收敛速率，且无需将 μ 作为输入。
• SAGA 通过近端算子支持复合目标，可高效优化 L1 正则化问题（如 Lasso）。
• 实验结果表明，SAGA 在性能上与 Finito 和 SDCA 竞争，且在早期迭代中优于 SAG，尤其在未使用自适应步长调优时表现更优。
• 该方法避免了重新校准遍历或额外超参数的需要，使其在非强凸设置下比 SVRG 和 SAG 更具实用性。