[论文解读] Random extrapolation for primal-dual coordinate descent

Ahmet Alacaoglu, Olivier Fercoq+1 more|arXiv (Cornell University)|Jul 13, 2020

Stochastic Gradient Optimization Techniques被引用 4

一句话总结

该论文提出 PURE-CD，一种使用随机外推法自适应处理稀疏与密集数据矩阵的原始-对偶坐标下降方法。在度量次正则性条件下实现线性收敛，在一般凸-凹情况下实现最优 O(1/k) 的次线性收敛，且无需参数调优，优于现有方法。

ABSTRACT

We introduce a randomly extrapolated primal-dual coordinate descent method that adapts to sparsity of the data matrix and the favorable structures of the objective function. Our method updates only a subset of primal and dual variables with sparse data, and it uses large step sizes with dense data, retaining the benefits of the specific methods designed for each case. In addition to adapting to sparsity, our method attains fast convergence guarantees in favorable cases extit{without any modifications}. In particular, we prove linear convergence under metric subregularity, which applies to strongly convex-strongly concave problems and piecewise linear quadratic functions. We show almost sure convergence of the sequence and optimal sublinear convergence rates for the primal-dual gap and objective values, in the general convex-concave case. Numerical evidence demonstrates the state-of-the-art empirical performance of our method in sparse and dense settings, matching and improving the existing methods.

研究动机与目标

• 解决现有原始-对偶坐标下降方法的局限性，即在稀疏数据上每轮迭代成本过高，或在密集数据上受限于步长。
• 将稀疏高效与密集高效方法的优势统一于单一框架中，自适应处理数据稀疏性，无需人工调参。
• 在度量次正则性条件下证明线性收敛，该条件涵盖强凸-强凹问题及分段线性-二次目标函数。
• 在一般凸-凹情况下，建立几乎必然收敛性及最优 O(1/k) 的次线性收敛速率，针对原始-对偶间隙与目标函数值。

提出的方法

• 引入随机外推作为关键机制，根据数据稀疏性与问题结构动态调整步长。
• 采用坐标下降法，基于数据矩阵 A 的稀疏模式，对随机选择的原始与对偶变量子集进行选择性更新。
• 对 g 和 h* 使用近端算子，对 f 使用梯度更新，步长通过外推机制自适应调整。
• 采用依赖于块稀疏性的概率选择策略，确保在稀疏与密集场景下均保持高效。
• 利用李雅普诺夫函数与概率分析推导收敛性保证，包括对期望迭代值与对偶间隙的界。
• 在对偶变量更新中引入外推，提升收敛速度，同时保持稳定性。

实验结果

研究问题

• RQ1 能否设计一种原始-对偶坐标下降方法，同时在稀疏数据上实现低每轮迭代成本，并在密集数据上使用大步长？
• RQ2 随机外推是否能在不修改步长的情况下自适应处理未知问题结构？
• RQ3 在度量次正则性条件下，可保证的收敛速率是什么？与现有方法相比如何？
• RQ4 在一般凸-凹情况下，能否建立几乎必然收敛性与最优 O(1/k) 的次线性收敛速率？

主要发现

• PURE-CD 在度量次正则性条件下实现线性收敛，该条件包括强凸-强凹问题及分段线性-二次目标函数（如 Lasso 与 SVM）。
• 在一般凸-凹情况下，该方法对原始-对偶间隙与目标函数值实现了最优 O(1/k) 的次线性收敛速率。
• 证明了即使在无强凸性条件下，迭代序列也几乎必然收敛至解。
• 数值实验表明，该方法在稀疏、密集及中等稀疏数据场景下均表现出最先进的经验性能。
• 该方法在稀疏数据上保持低每轮迭代成本，在密集数据上使用大步长，优于以往方法中为一方优势而牺牲另一方的折中策略。