[论文解读] Proximal Newton-type Methods for Minimizing Convex Objective Functions in Composite Form

Jason D. Lee, Yuekai Sun+1 more|arXiv (Cornell University)|Jan 1, 2012

Sparse and Compressive Sensing Techniques被引用 3

一句话总结

本文提出了一类近似牛顿型方法，用于最小化由光滑函数与具有简单邻近映射的非光滑函数组成的凸复合目标函数。该方法即使在使用非精确搜索方向时，仍继承牛顿型方法的快速收敛特性，推广了生物信息学、信号处理和机器学习领域中现有方法，并建立了新的收敛性保证。

ABSTRACT

We generalize Newton-type methods for minimizing smooth functions to handle a sum of two convex functions: a smooth function and a nonsmooth function with a simple proximal mapping. We show that the resulting proximal Newton-type methods inherit the desirable convergence behavior of Newton-type methods for minimizing smooth functions, even when search directions are computed inexactly. Many popular methods tailored to problems arising in bioinformatics, signal processing, and statistical learning are special cases of proximal Newton-type methods, and our analysis yields new convergence results for some of these methods.

研究动机与目标

• 将牛顿型方法推广至包含光滑项与具有简单邻近映射的非光滑项的复合凸目标函数问题。
• 在复合设置下，即使采用非精确线搜索，仍保持牛顿方法的快速收敛特性。
• 在单一框架下统一并推广生物信息学、信号处理和统计学习领域中的现有方法。
• 通过将现有方法置于所提出的近似牛顿型框架中，建立新的收敛性结果。

提出的方法

• 该方法通过引入邻近项，将牛顿型优化扩展以处理目标函数中的非光滑分量。
• 采用复合模型，将光滑部分的局部二次逼近与非光滑项相结合。
• 通过求解涉及非光滑函数邻近算子的子问题来计算搜索方向。
• 允许在计算搜索方向时存在非精确性，且在较弱条件下仍能保持收敛性。
• 在适当假设下，该算法保持全局收敛性和超线性收敛速率。
• 该框架通过将它们嵌入统一的近似牛顿方案中，推广了诸如L1-正则化最小二乘和组lasso等方法。

实验结果

研究问题

• RQ1 牛顿型方法能否被扩展以处理带有非光滑正则化项的复合凸优化问题？
• RQ2 当搜索方向以非精确方式计算时，所提出的方法是否仍能保持快速收敛？
• RQ3 信号处理和机器学习领域中的现有方法与所提出的近似牛顿型框架有何关联？
• RQ4 在非精确性和复合结构下，能否为新方法建立收敛性保证？
• RQ5 该框架能否统一并推广应用领域中的知名优化技术？

主要发现

• 近似牛顿型方法即使在使用非精确搜索方向时，仍继承经典牛顿方法的全局收敛和超线性收敛速率。
• 该方法推广了生物信息学、信号处理和统计学习中广泛使用的多种现有算法。
• 在较弱假设下（包括搜索方向计算中的非精确性），为新方法建立了收敛性结果。
• 该框架提供了一个统一视角，能够解释并强化若干现有方法的收敛行为。
• 非光滑项的邻近映射被精确计算，从而在实际中实现了高效的子问题求解。