[论文解读] Semi-Smooth Second-order Type Methods for Composite Convex Programs

Xiantao Xiao, Yongfeng Li+2 more|arXiv (Cornell University)|Mar 25, 2016

Advanced Optimization Algorithms Research参考文献 50被引用 4

一句话总结

本文通过利用来自前向-后向分裂（FBS）和Douglas-Rachford分裂（DRS）等算子分裂算法的半光滑固定点映射，提出了一类自适应半光滑牛顿法与Levenberg-Marquardt方法，用于求解复合凸规划问题。当初始点靠近最优解时，该方法实现了全局收敛，且收敛速率可达二次或超线性，从而弥合了一阶与二阶方法之间的差距。

ABSTRACT

The goal of this paper is to study approaches to bridge the gap between first-order and second-order type methods for composite convex programs. Our key observations are: i) Many well-known operator splitting methods, such as forward-backward splitting (FBS) and Douglas-Rachford splitting (DRS), actually define a possibly semi-smooth and monotone fixed-point mapping; ii) The optimal solutions of the composite convex program and the solutions of the system of nonlinear equations derived from the fixed-point mapping are equivalent. Solving the system of nonlinear equations rediscovers a paradigm on developing second-order methods. Although these fixed-point mappings may not be differentiable, they are often semi-smooth and its generalized Jacobian matrix is positive semidefinite due to monotonicity. By combining a regularization approach and a known hyperplane projection technique, we propose an adaptive semi-smooth Newton method and establish its convergence to global optimality. A semi-smooth Levenberg-Marquardt (LM) method in terms of handling the nonlinear least squares formulation is further presented. In practice, the second-order methods can be activated until the first-order type methods reach a good neighborhood of the global optimal solution. Preliminary numerical results on Lasso regression, logistic regression, basis pursuit, linear programming and quadratic programming demonstrate that our second-order type algorithms are able to achieve quadratic or superlinear convergence as long as the fixed-point residual of the initial point is small enough.

研究动机与目标

• 弥合一阶方法与二阶方法在求解复合凸规划问题中的差距。
• 利用来自FBS与DRS等算子分裂方法的固定点映射所具备的半光滑性与单调性。
• 设计二阶方法，通过求解由这些映射导出的非线性方程组系统，实现快速局部收敛。
• 尽管映射本身不可微，仍通过正则化与超平面投影技术确保全局收敛。

提出的方法

• 利用前向-后向分裂或Douglas-Rachford分裂将复合凸规划问题转化为固定点问题，得到一个可能为半光滑单调的映射。
• 建立原问题最优解与所得非线性方程组解之间的等价性。
• 采用正则化技术处理不可微性，并基于单调性构造出正半定的广义雅可比矩阵。
• 提出一种基于超平面投影的自适应半光滑牛顿法，以确保收敛至全局最优解。
• 针对固定点系统的非线性最小二乘形式，设计了一类半光滑Levenberg-Marquardt方法。
• 仅当一阶迭代进入固定点残差较小的邻域时，才激活二阶方法，从而兼顾效率与鲁棒性。

实验结果

研究问题

• RQ1 能否利用标准算子分裂方法生成的固定点映射，设计出高效求解复合凸规划问题的二阶方法？
• RQ2 在保持收敛性保证的前提下，如何处理这些固定点映射中的不可微性？
• RQ3 在所提出的二阶方法中，何种条件可确保二次或超线性收敛？
• RQ4 在实际应用中，如何自适应地管理从一阶方法到二阶方法的过渡？

主要发现

• 复合凸规划的最优解等价于由固定点映射导出的非线性方程组的解。
• 固定点映射具有半光滑性与单调性，其广义雅可比矩阵为正半定，从而支持二阶方法的应用。
• 自适应半光滑牛顿法可全局收敛至最优解，当初始固定点残差足够小时，实现二次或超线性收敛。
• 半光滑Levenberg-Marquardt方法为求解固定点系统的非线性最小二乘形式提供了鲁棒的替代方案。
• 在Lasso、逻辑回归、基础追踪、线性规划与二次规划等问题上的初步数值实验结果表明，在有利初始化条件下可实现快速局部收敛。
• 二阶方法的性能仅在前序一阶迭代足够接近解时被有效激活，从而在鲁棒性与效率之间取得良好平衡。