[论文解读] Stochastic Dual Coordinate Ascent with Alternating Direction Multiplier Method

Taiji Suzuki|arXiv (Cornell University)|Nov 4, 2013

Sparse and Compressive Sensing Techniques参考文献 20被引用 8

一句话总结

该论文提出SDCA-ADMM，一种结合随机对偶坐标上升（Stochastic Dual Coordinate Ascent）与增广拉格朗日乘子法（Alternating Direction Method of Multipliers, ADMM）的随机优化方法，用于求解具有复杂正则化的学习问题。该方法在保持弱条件下指数收敛的同时，支持随机、小批量更新，高效处理结构化稀疏性及其他复杂正则化，且无需大量内存，优于传统批量方法和在线方法。

ABSTRACT

We propose a new stochastic dual coordinate ascent technique that can be applied to a wide range of regularized learning problems. Our method is based on Alternating Direction Multiplier Method (ADMM) to deal with complex regularization functions such as structured regularizations. Although the original ADMM is a batch method, the proposed method offers a stochastic update rule where each iteration requires only one or few sample observations. Moreover, our method can naturally afford mini-batch update and it gives speed up of convergence. We show that, under mild assumptions, our method converges exponentially. The numerical experiments show that our method actually performs efficiently.

研究动机与目标

• 开发一种随机优化方法，可在处理结构化稀疏性等复杂正则化函数时保持指数收敛性。
• 通过引入基于单个样本或小批量样本的随机更新规则，克服批量ADMM在内存和计算上的限制。
• 将SDCA（快速收敛）与ADMM（在处理复杂正则化方面具有灵活性）的优势整合到统一框架中。
• 通过重用数据样本而不存储所有梯度（如SAG中所做），实现在大规模数据集上的高效、可扩展训练。
• 证明在弱相关性假设下，子批量更新相比单样本更新可提升收敛速度。

提出的方法

• 提出SDCA-ADMM，即ADMM的一种随机变体，通过随机采样数据点或小批量样本进行对偶坐标上升。
• 将ADMM的子问题转化为对偶优化问题，其中对偶变量基于随机选择的样本进行更新。
• 采用随机坐标上升规则，对单个样本或小群体对应的对偶变量进行更新，降低每次迭代的计算成本。
• 引入分块更新策略，每轮迭代仅使用部分样本（子批量），从而实现更快收敛。
• 采用李雅普诺夫函数分析收敛性，证明在强凸性和光滑性假设下，对偶间隙呈指数衰减。
• 推导出收敛边界，表明收敛速率依赖于子批量大小，且子批量越大或相关性越低，收敛越快。

实验结果

研究问题

• RQ1 ADMM能否被适配到一种随机设置中，以在降低内存使用的同时保持指数收敛？
• RQ2 使用小批量样本如何影响所提出的随机ADMM方法的收敛速率？
• RQ3 该方法能否高效处理如分组Lasso或图正则化稀疏性等复杂正则化函数，其中近端算子难以计算？
• RQ4 在损失函数和正则化函数的弱假设下，该方法的理论收敛行为如何？
• RQ5 与单样本更新相比，子批量更新在收敛速率和计算效率方面是否提供了实际的速度提升？

主要发现

• 所提出的SDCA-ADMM方法在损失函数具有强凸性和光滑性的弱假设下，实现了指数收敛。
• 与单样本更新相比，子批量更新显著提升了收敛速度，尤其在样本间相关性较低时效果更明显。
• 通过每轮迭代仅处理一个或少数几个样本，该方法保持了低内存使用，避免了像SAG那样存储所有梯度的需要。
• 收敛速率在理论上受到约束，且依赖于子批量大小，子批量越大或相关性越低，收敛越快。
• 数值实验表明，SDCA-ADMM在多种结构化正则化任务中表现高效，优于标准的随机和批量方法。
• 该方法成功将SDCA的适用范围扩展到重叠分组Lasso和核范数正则化等复杂正则化问题，而标准SDCA因对偶计算不可行而失效。