[论文解读] Newton Method for Sparse Logistic Regression: Quadratic Convergence and Extensive Simulations

Rui Wang, Naihua Xiu+1 more|arXiv (Cornell University)|Jan 9, 2019

Sparse and Compressive Sensing Techniques参考文献 43被引用 4

一句话总结

本文提出了一种用于稀疏性约束逻辑回归的牛顿法，通过τ-稳定点建立一阶最优性条件，并利用牛顿迭代高效求解。该方法在计算复杂度较低的情况下实现了全局收敛和二次收敛，在合成数据和真实世界数据的数值实验中优于七种最先进求解器。

ABSTRACT

Sparse logistic regression, {as an effective tool of classification,} has been developed tremendously in recent two decades, from its origination the $\ell_1$-regularized version to the sparsity constrained models. This paper is carried out on the sparsity constrained logistic regression by the Newton method. We begin with establishing its first-order optimality condition associated with a $ au$-stationary point. This point can be equivalently interpreted as an equation system which is then efficiently solved by the Newton method. The method has a considerably low computational complexity and enjoys global and quadratic convergence properties. Numerical experiments on random and real data demonstrate its superior performance when against seven state-of-the-art solvers.

研究动机与目标

• 开发一种高效的优化方法，用于稀疏性约束逻辑回归，这是高维分类中的关键工具。
• 通过τ-稳定点为稀疏性约束问题建立一阶最优性条件。
• 设计一种基于牛顿的算法，以低计算复杂度高效求解该最优性条件。
• 在合成数据和真实世界数据集上，证明该方法优于现有最先进求解器。
• 在给定公式下，证明所提出算法的全局收敛性和二次收敛性。

提出的方法

• 该方法使用τ-稳定点条件来表述稀疏性约束逻辑回归问题，该条件作为一阶最优性准则。
• 将τ-稳定点条件重新表述为一个可使用牛顿法求解的方程组。
• 对这一方程组应用牛顿迭代，利用二阶信息实现快速收敛。
• 通过利用海塞矩阵和梯度计算中的稀疏性，设计算法以保持低计算复杂度。
• 通过线搜索策略确保全局收敛，同时在接近解时实现二次收敛。
• 在随机数据和真实世界数据集上实现并测试该方法，以评估其性能。

实验结果

研究问题

• RQ1 能否有效将牛顿法应用于具有保证收敛性质的稀疏性约束逻辑回归？
• RQ2 在稀疏分类任务中，所提出方法与七种最先进求解器相比性能如何？
• RQ3 与现有方法相比，基于牛顿的方法的计算复杂度如何？
• RQ4 该方法在实际中是否对这类问题实现了全局收敛和二次收敛？
• RQ5 τ-稳定点条件能否作为稀疏逻辑回归可靠且可求解的最优性条件？

主要发现

• 所提出的牛顿法在稀疏性约束逻辑回归中实现了全局收敛和二次收敛。
• 由于利用了稀疏性，该方法的计算复杂度显著低于标准方法。
• 在随机数据和真实世界数据集上，该方法在解的质量和收敛速度方面均优于七种最先进求解器。
• τ-稳定点条件为该问题的一阶最优性条件提供了等价且可求解的重表述。
• 数值实验证实了该方法在多样化数据设置下的鲁棒性和高效性。
• 该算法在保持高精度的同时实现了快速收敛，尤其在高维稀疏场景下表现突出。