[论文解读] Sparse Learning with Semi-Proximal-Based Strictly Contractive Peaceman-Rachford Splitting Method

Sen Na, Cho‐Jui Hsieh|arXiv (Cornell University)|Dec 30, 2016

Sparse and Compressive Sensing Techniques参考文献 12被引用 3

一句话总结

该论文提出了一种随机版本的基于半近端的严格收缩Peaceman-Rachford分裂法（Stochastic SPB-SCPRSM），用于大规模稀疏学习问题。通过每次迭代仅使用一个或少量样本，并结合带有两个松弛因子的半近端项，该方法在凸问题下实现了遍历意义下的$O(1/\sqrt{t})$收敛速率，在强凸问题下实现了$O(\log(t)/t)$的收敛速率，优于现有随机ADMM和批量方法在真实和合成数据集上的表现。

ABSTRACT

Minimizing sum of two functions under a linear constraint is what we called splitting problem. This convex optimization has wide applications in machine learning problems, such as Lasso, Group Lasso and Sparse logistic regression. A recent paper by Gu et al (2015) developed a Semi-Proximal-Based Strictly Contractive Peaceman-Rachford Splitting Method (SPB-SPRSM), which is an extension of Strictly Contractive Peaceman-Rachford Splitting Method (SPRSM) proposed by He et al (2014). By introducing semi-proximal terms and using two different relaxation factors, SPB-SPRSM showed a more flexiable applicability comparing to its origin SPRSM and widely-used Alternating Direction Method of Multipliers (ADMM) algorithm, although all of them have $O(1/t)$ convergence rate. In this paper, we develop a stochastic version of SPB-SPRSM algorithm, where only a subset of samples (even one sample) are used at each iteration. The resulting algorithm, Stochastic SPB-SPRSM, is more flexiable than Stochastic ADMM and other ADMM-based algorithms on both simulations and real datasets. Moreover, we prove $O(1/\sqrt{t})$ convergence rate in ergodic sense, which is the same with Stochastic ADMM algorithm under the same assumption. But as shown in He et al (2014) that SPRSM based algorithms will always converge faster than ADMM in apllication, our proposed algorithm will also preserve this advantage.

研究动机与目标

• 为解决ADMM和SPB-SCPRSM等批量分裂方法在大规模机器学习中面对海量数据集时的可扩展性限制。
• 开发SPB-SCPRSM的随机变体，每次迭代仅使用少量样本以提升计算效率。
• 在保持收敛保证的同时，通过引入半近端项和两个独立的松弛因子增强灵活性。
• 在一般凸和强凸设置下，为随机算法建立理论收敛速率。
• 通过实证验证，在真实和合成数据集上，该方法在收敛速度上优于现有的随机ADMM和批量方法。

提出的方法

• 通过在每次迭代中使用单个或小批量样本近似增广拉格朗日函数，提出SPB-SCPRSM的随机版本。
• 在${\boldsymbol{x}}$和${\boldsymbol{y}}$的子问题中引入两个半近端项，以提高数值稳定性和收敛性。
• 采用两个不同的松弛因子$\alpha \in [0,1)$和$\gamma \in \left(0, \frac{1-\alpha + \sqrt{(1+\alpha)^2 + 4(1-\alpha^2)}}{2}\right)$，以确保迭代序列的严格收缩性。
• 利用拉格朗日函数的一阶近似推导$\boldsymbol{x}$、$\boldsymbol{y}$和对偶变量$\boldsymbol{\lambda}$的更新规则。
• 通过将Lasso、组Lasso和稀疏逻辑回归重新表述为具有线性约束的可分离凸优化问题，将该算法应用于这些任务。
• 在逻辑回归情况下，对$\boldsymbol{y}$-更新使用软阈值化方法，对$\boldsymbol{x}$-更新采用闭式更新。

实验结果

研究问题

• RQ1 能否开发一种SPB-SCPRSM的随机变体，在保持收敛性的同时高效扩展至大规模数据集？
• RQ2 在随机设置下，松弛因子和半近端项的何种选择可确保严格收缩性和收敛性？
• RQ3 所提出的随机SPB-SCPRSM在凸和强凸设置下的收敛速率与随机ADMM和批量方法相比如何？
• RQ4 在真实世界的稀疏学习问题中，该方法是否在收敛速度上优于现有的随机算法？
• RQ5 当损失函数的近端映射计算成本过高或不可行时，该方法是否仍能有效处理？

主要发现

• 在与随机ADMM相同的假设下，所提出的Stochastic SPB-SCPRSM对一般凸函数实现了遍历意义下的$O(1/\sqrt{t})$收敛速率。
• 对于强凸问题，收敛速率提升至$O(\log(t)/t)$，快于批量方法的标准$O(1/t)$速率。
• 在真实数据集上，该算法比随机ADMM和批量ADMM收敛更快，尤其在解稀疏时（例如$\mu=10$）表现更优。
• 在E2006数据集上，Sto-SPB-SPRSM优于SADMM和OpSADMM，尤其在稀疏区域收敛速度优势明显。
• 即使在光滑损失项的近端映射难以计算的情况下，该方法依然有效，如在稀疏逻辑回归中所展示。
• 松弛因子$\alpha$和$\gamma$的理论收敛界与批量SPB-SCPRSM完全一致，确保了在随机设置下的稳定性和收敛性。