[论文解读] On Fast Convergence of Proximal Algorithms for SQRT-Lasso Optimization: Don't Worry About Its Nonsmooth Loss Function

Xingguo Li, Haoming Jiang+5 more|arXiv (Cornell University)|May 25, 2016

Sparse and Compressive Sensing Techniques参考文献 32被引用 4

一句话总结

本文证明，尽管损失函数非光滑，近端算法在SQRT-Lasso优化中仍能实现快速收敛，且在高概率下展现出快速局部收敛性。主要贡献在于表明，非光滑性带来的计算负担可忽略不计——梯度下降、牛顿法及拟牛顿法等近端方法可直接应用而无需修改，结合路径优化方案后，其性能优于其他方法。

ABSTRACT

Many machine learning techniques sacrifice convenient computational structures to gain estimation robustness and modeling flexibility. However, by exploring the modeling structures, we find these "sacrifices" do not always require more computational efforts. To shed light on such a "free-lunch" phenomenon, we study the square-root-Lasso (SQRT-Lasso) type regression problem. Specifically, we show that the nonsmooth loss functions of SQRT-Lasso type regression ease tuning effort and gain adaptivity to inhomogeneous noise, but is not necessarily more challenging than Lasso in computation. We can directly apply proximal algorithms (e.g. proximal gradient descent, proximal Newton, and proximal Quasi-Newton algorithms) without worrying the nonsmoothness of the loss function. Theoretically, we prove that the proximal algorithms combined with the pathwise optimization scheme enjoy fast convergence guarantees with high probability. Numerical results are provided to support our theory.

研究动机与目标

• 为解决统计学习中非光滑损失函数增加计算复杂度的普遍认知。
• 探究SQRT-Lasso的非光滑损失函数是否阻碍高效优化。
• 证明由于问题的内在结构，近端算法可直接应用于SQRT-Lasso而无需特殊处理。
• 为近端方法在SQRT-Lasso上的快速局部收敛性建立理论保证。
• 通过实证结果表明，结合路径优化方案的近端方法显著优于其他算法。

提出的方法

• 作者分析SQRT-Lasso问题：最小化 $ \frac{1}{\sqrt{n}}\|y - X\theta\|_2 + \lambda\|\theta\|_1 $，该问题对噪声异质性具有鲁棒性，且无需噪声方差知识。
• 直接将标准近端算法——近端梯度下降、近端牛顿法与近端拟牛顿法——应用于非光滑目标函数，未进行平滑化或近似处理。
• 理论分析基于限制强凸性（RSS）与次梯度条件，在温和假设下证明了高概率下的局部线性收敛性。
• 将路径优化方案与近端方法结合，以加速收敛并提升有限样本性能。
• 通过在损失函数的Hessian矩阵上应用广义柯西-施瓦茨不等式与中值定理，推导出理论界，将收敛速率与稀疏性及曲率特性关联。
• 分析表明，非光滑性并不阻碍收敛，且正则化参数 $ \lambda_{\text{SQRT}} \asymp \sqrt{\frac{\log d}{n}} $ 相对于Lasso为无调参形式。

实验结果

研究问题

• RQ1 即使损失函数非光滑，近端算法是否仍能在SQRT-Lasso上实现快速收敛？
• RQ2 正则化参数 $ \lambda_{\text{SQRT}} $ 不依赖噪声方差是否意味着相对于Lasso具有计算优势？
• RQ3 SQRT-Lasso损失函数的非光滑性是否构成计算瓶颈？还是标准近端方法可高效处理？
• RQ4 路径优化如何提升近端算法在SQRT-Lasso中的性能？
• RQ5 在高维稀疏性条件下，能否为近端方法在SQRT-Lasso上的局部收敛性建立理论保证？

主要发现

• 近端算法（包括梯度下降、牛顿法与拟牛顿法）在高概率下对SQRT-Lasso实现快速局部收敛，尽管损失函数非光滑。
• 理论收敛速率由限制强凸性（RSS）参数与稀疏性决定，其中 $ \rho^{-}_{s^* + \widetilde{s}} $ 与 $ \rho^{+}_{\check{s}_1} $ 控制收敛速率。
• 路径优化方案与近端方法结合后，在数值实验中显著优于其他竞争算法。
• 非光滑损失函数并未增加计算成本——近端方法可直接应用，无需平滑或近似处理。
• 正则化参数 $ \lambda_{\text{SQRT}} \asymp \sqrt{\frac{\log d}{n}} $ 与噪声方差 $ \sigma $ 无关，消除了对大量调参的需求。
• 理论分析确认解中非零分量的数量被有界于 $ \widetilde{s} $，从而保证了稀疏性与稳定性。