[论文解读] Proximal Newton-type methods for convex optimization

Jason D. Lee, Yuekai Sun+1 more|arXiv (Cornell University)|Jun 7, 2012

Sparse and Compressive Sensing Techniques参考文献 24被引用 21

一句话总结

该论文提出了一种适用于求解形式为 minₓ g(x) + h(x) 的凸复合优化问题的近端牛顿型方法，其中 g 是光滑函数，h 是非光滑但具有高效可计算近端映射的函数。该方法将牛顿步与近端正则化相结合，实现了全局收敛性和超线性局部收敛速率，在机器学习和统计应用中表现出良好的有效性。

ABSTRACT

We seek to solve convex optimization problems in composite form: minimize x∈Rn f(x): = g(x) + h(x), where g is convex and continuously differentiable and h: Rn → R is a convex but not necessarily differentiable function whose proximal mapping can be eval-uated efficiently. We derive a generalization of Newton-type methods to handle such convex but nonsmooth objective functions. We prove such methods are glob-ally convergent and achieve superlinear rates of convergence in the vicinity of an optimal solution. We also demonstrate the performance of these methods using problems of relevance in machine learning and statistics. 1

研究动机与目标

• 解决目标函数为光滑凸函数与非光滑凸函数之和的凸优化问题，且后者具有高效可计算的近端映射。
• 通过近端正则化将牛顿型方法扩展至处理非光滑项。
• 为所提出的方法建立全局收敛性和超线性局部收敛速率的理论保证。
• 在机器学习和统计相关的实际问题上展示该方法的实用性能。

提出的方法

• 该方法通过引入近端项来处理非光滑分量 h(x)，将牛顿法推广，从而在每次迭代中形成一个近端-牛顿子问题。
• 在每次迭代中，算法求解一个结合了 g(x) 的海森矩阵与近端正则化项的子问题，以确保问题的适定性和收敛性。
• 在每一步中精确计算 h 的近端映射，即使 h 不可微，也能实现高效计算。
• 通过线搜索策略确保目标函数的充分下降，从而保持全局收敛性。
• 通过利用 g(x) 的二阶信息，使算法在接近最优解时实现超线性收敛。
• 该框架适用于机器学习和统计中常见的广泛类复合问题，如 Lasso 和组 Lasso。

实验结果

研究问题

• RQ1 牛顿型方法能否被有效扩展以处理具有高效可计算近端映射的非光滑复合目标函数？
• RQ2 在存在非光滑项的情况下，这种广义牛顿方法的收敛性保证是什么？
• RQ3 与一阶方法相比，该方法在复合凸优化问题上的收敛速度如何？
• RQ4 近端牛顿型方法在最优解附近的局部收敛速率是多少？
• RQ5 该方法在机器学习和统计中的实际问题上是否具有实际有效性？

主要发现

• 所提出的近端牛顿型方法对凸复合优化问题实现了全局收敛。
• 该方法在最优解附近表现出超线性局部收敛速率，表明在最小值附近收敛速度很快。
• 通过精确计算 h(x) 的近端映射，该算法保持了高效性，即使 h 不可微。
• 数值实验表明，该方法在机器学习和统计相关问题上的表现良好，收敛速度优于一阶方法。
• 由于使用了二阶信息并借助近端算子高效求解子问题，该方法具有鲁棒性和可扩展性。