[论文解读] Solving the OSCAR and SLOPE Models Using a Semismooth Newton-Based Augmented Lagrangian Method

Ziyan Luo, Defeng Sun+2 more|arXiv (Cornell University)|Mar 28, 2018

Sparse and Compressive Sensing Techniques被引用 13

一句话总结

该论文提出了一种基于半光滑牛顿法的增广拉格朗日方法（Newt-ALM），以高效求解高维回归中的SLOPE和OSCAR模型。通过利用增广拉格朗日子问题中广义雅可比矩阵的稀疏性和低秩结构，该方法在n > m的大规模场景下，相较于APG和ADMM等一阶方法，展现出更优的速度和鲁棒性。

ABSTRACT

The octagonal shrinkage and clustering algorithm for regression (OSCAR), equipped with the $\\ell_1$-norm and a pair-wise $\\ell_{\\infty}$-norm regularizer, is a useful tool for feature selection and grouping in high-dimensional data analysis. The computational challenge posed by OSCAR, for high dimensional and/or large sample size data, has not yet been well resolved due to the non-smoothness and inseparability of the regularizer involved. In this paper, we successfully resolve this numerical challenge by proposing a sparse semismooth Newton-based augmented Lagrangian method to solve the more general SLOPE (the sorted L-one penalized estimation) model. By appropriately exploiting the inherent sparse and low-rank property of the generalized Jacobian of the semismooth Newton system in the augmented Lagrangian subproblem, we show how the computational complexity can be substantially reduced. Our algorithm presents a notable advantage in the high-dimensional statistical regression settings. Numerical experiments are conducted on real data sets, and the results demonstrate that our algorithm is far superior, in both speed and robustness, than the existing state-of-the-art algorithms based on first-order iterative schemes, including the widely used accelerated proximal gradient (APG) method and the alternating direction method of multipliers (ADMM).

研究动机与目标

• 为解决现有方法（如APG、ADMM）在求解高维OSCAR和SLOPE模型时存在的计算低效问题。
• 克服OSCAR正则化项的非光滑性和非可分性，从而阻碍可扩展优化的问题。
• 开发一种能充分挖掘半光滑牛顿系统中广义雅可比矩阵内在低秩与稀疏结构的二阶方法。
• 在真实高维数据集上，展示所提Newt-ALM方法相较于最先进的一阶算法在速度与鲁棒性方面显著提升。

提出的方法

• 将SLOPE问题建模为带有递减加权排序ℓ1范数（DWSL1）正则化的凸优化模型。
• 对SLOPE模型的对偶形式应用增广拉格朗日方法（ALM），实现高效的对偶更新。
• 采用半光滑牛顿法求解ALM子问题，利用广义牛顿法的快速局部收敛特性。
• 利用广义雅可比矩阵中固有的稀疏性和低秩结构，大幅降低计算复杂度。
• 使用池相邻违反者算法（PAVA）高效计算DWSL1范数的近端映射。
• 采用热启动策略和自适应步长，以提升实际应用中的收敛性与鲁棒性。

实验结果

研究问题

• RQ1 二阶方法是否能在求解高维OSCAR和SLOPE模型时超越APG和ADMM等一阶方法？
• RQ2 如何有效利用OSCAR正则化项的非光滑与非可分结构以实现计算加速？
• RQ3 广义雅可比矩阵中的稀疏性与低秩结构对半光滑牛顿法效率有何影响？
• RQ4 所提出的Newt-ALM方法是否能在真实世界高维数据集上保持鲁棒性与可扩展性？

主要发现

• 所提出的Newt-ALM方法在真实高维数据集上相比APG和ADMM实现了显著更快的收敛速度与更高的鲁棒性。
• 该算法在约70分钟内求解了10,000个微阵列数据上的SLOPE问题，证明了其在大规模问题上的可扩展性。
• 该方法通过利用广义雅可比矩阵中的二阶稀疏性与低秩结构，显著降低了计算成本。
• 数值结果表明，随着问题维度的增加，Newt-ALM的计算优势愈发显著。
• 即使在n ≫ m的高维场景下，该方法仍能保持快速的局部收敛与优异的鲁棒性能。
• 对偶形式结合半光滑牛顿法，使得非可分OSCAR正则化项得以高效求解。