[论文解读] Semi-Smooth Newton Algorithm for Non-Convex Penalized Linear Regression

Yueyong Shi, Jian Huang+2 more|arXiv (Cornell University)|Feb 24, 2018

Sparse and Compressive Sensing Techniques参考文献 56被引用 3

一句话总结

本文提出了一种半光滑牛顿（SSN）算法，用于求解SCAD和MCP惩罚的线性回归问题，这些问题具有非凸性和非光滑性。通过将全局最小化解重新表述为非光滑方程的根，SSN方法在每次迭代中实现O(np)的计算成本，展现出局部超线性收敛性和计算效率，其速度优于坐标下降法和DC邻近牛顿法，同时保持了高精度。

ABSTRACT

Both the smoothly clipped absolute deviation (SCAD) and the minimax concave penalty (MCP) penalized linear regression models are capable of dealing with variable selection and parameter estimation simultaneously. Theoretically, these two models enjoy the oracle property even in the high dimensional settings where the number of predictors $p$ may be much larger than the number of observations $n$. However, numerically, it is quite challenging to develop fast and stable algorithms due to their non-convexity and non-smoothness. In this paper we develop a fast algorithm for SCAD and MCP penalized problems. First, we derive that the global minimizers of both models are roots of some nonsmooth equations. Then, Semi-smooth Newton (SSN) algorithm is employed to solve the equations. We prove the SSN algorithm converges locally and superlinearly to KKT points. Computational complexity analysis demonstrates that the cost of SSN algorithm per iteration is $O(np)$. Combining with the warmstarting technique SSN algorithm can be very efficient. Simulation studies and real data examples show that the SSN algorithm outperforms coordinate descent and DC proximal Newton algorithms in computational efficiency while reaching comparable accuracy.

研究动机与目标

• 为解决SCAD和MCP等非凸、非光滑惩罚回归问题带来的计算挑战。
• 开发一种快速且稳定的算法，高效计算SCAD和MCP惩罚线性回归的全局最小化解。
• 利用KKT条件的非光滑方程重表述实现高效优化。
• 与坐标下降法和DC邻近牛顿法等现有方法相比，实现更优越的计算性能。

提出的方法

• 将SCAD和MCP惩罚回归的全局最小化解重新表述为由KKT条件导出的非光滑方程的根。
• 应用半光滑牛顿（SSN）算法求解所得的非光滑方程。
• 在适当条件下，证明SSN算法对KKT点的局部超线性收敛性。
• 分析计算复杂度，表明每次迭代的计算成本为O(np)，使其在高维数据中具有可扩展性。
• 集成热启动技术，进一步提升在多个参数值下的效率。
• 在模拟数据和真实数据集上实现并比较SSN算法与坐标下降法及DC邻近牛顿法的性能。

实验结果

研究问题

• RQ1 SCAD和MCP惩罚回归的非光滑方程重表述是否能带来更快、更稳定的优化？
• RQ2 半光滑牛顿算法是否对非凸、非光滑惩罚回归问题实现超线性收敛？
• RQ3 在高维设置下，SSN算法的计算效率与坐标下降法和DC邻近牛顿法相比如何？
• RQ4 在实际应用中，热启动在多大程度上提升了SSN算法的性能？

主要发现

• SSN算法局部且超线性收敛至KKT点，确保在接近最优解时快速收敛。
• 每次迭代的计算成本为O(np)，即使在p较大的高维问题中也保持高效。
• 模拟研究显示，SSN算法显著快于坐标下降法和DC邻近牛顿法，同时达到相当的解精度。
• 真实数据示例证实，SSN算法在实际回归场景中具有卓越的计算效率。