[论文解读] SDCA without Duality

Shai Shalev‐Shwartz|arXiv (Cornell University)|Feb 22, 2015

Stochastic Gradient Optimization Techniques参考文献 9被引用 35

一句话总结

本文提出了一种无对偶的随机对偶坐标上升（SDCA）变体，可在个体损失函数为凸或非凸时实现线性收敛，前提是平均损失为凸。该方法直接使用梯度并避免对偶性，通过更简单的原始分析维持收敛性保证，将SDCA的适用范围扩展至非凸问题（如深度学习），同时在光滑性和凸性条件下保持线性收敛速率。

ABSTRACT

Stochastic Dual Coordinate Ascent is a popular method for solving regularized loss minimization for the case of convex losses. In this paper we show how a variant of SDCA can be applied for non-convex losses. We prove linear convergence rate even if individual loss functions are non-convex as long as the expected loss is convex.

研究动机与目标

• 将SDCA扩展至个体损失函数为非凸但对偶形式不适用的情形。
• 提供一种无对偶的SDCA直接分析方法，避免依赖对偶性，同时保持收敛性保证。
• 在光滑性和平均凸性假设下，建立凸与非凸情形下的线性收敛速率。
• 证明SDCA可被解释为一种方差减少的SGD变体，其梯度方差在接近最优解时趋于减小。

提出的方法

• 提出一种无对偶的SDCA变体，保持原始-对偶向量 α_i，并通过个体损失函数 φ_i 的梯度更新它们。
• 使用步长 η，使得 β = ηλn < 1，以确保稳定性和收敛性。
• 推导出更新规则：α_i^{(t)} = (1−β)α_i^{(t−1)} + β(−∇φ_i(w^{(t−1)}))，结合旧的对偶向量与负梯度。
• 通过 w^{(t)} = w^{(t−1)} − η(∇φ_i(w^{(t−1)}) + α_i^{(t−1)}) 维持原始变量 w^{(t)}，并确保原始-对偶关系 w^{(t−1)} = (1/λn)∑α_i^{(t−1)} 成立。
• 将该方法分析为一种方差减少的SGD，其中更新的方差随算法趋近最优解而减小。
• 引入一个势函数 C_t 或 D_t，以有界次优性并利用期望误差的递归衰减证明线性收敛。

实验结果

研究问题

• RQ1 SDCA能否在不依赖对偶性的情况下扩展至非凸个体损失函数？
• RQ2 当平均损失为凸时，非凸 φ_i 的收敛速率是多少？
• RQ3 与原始SGD相比，无对偶SDCA变体在方差减少和收敛速度方面表现如何？
• RQ4 更简单的无对偶证明能否在凸损失情况下达到与原始SDCA相同的收敛速率？

主要发现

• 对于 L-光滑且凸的 φ_i，该方法实现了 Õ((L/λ + n) log(1/ε)) 的线性收敛速率，与原始SDCA一致，但采用无对偶证明。
• 对于非凸 φ_i 且平均损失为凸的情形，收敛速率为 Õ((L²/λ² + n) log(1/ε))，对 L/λ 的依赖更差。
• 该算法被证明是一种方差减少的SGD，其梯度估计方差在趋近收敛时趋于零。
• 无对偶分析避免了对偶性，为凸情形提供了更简洁的证明，同时仍达到与先前工作相同的收敛速率。
• 势函数分析表明，期望次优性以速率 ηλ 指数衰减，从而确保线性收敛。
• 该方法适用于非凸问题（如深度学习），其中对偶问题通常不可行。