[论文解读] Optimization with First-Order Surrogate Functions

Julien Mairal|arXiv (Cornell University)|May 14, 2013

Sparse and Compressive Sensing Techniques参考文献 40被引用 117

一句话总结

本文提出了一种基于一阶近似函数的统一优化框架，统一并扩展了诸如加速近似梯度、块坐标下降和Frank-Wolfe等方法。提出了一种新型增量算法MISO，该算法在强凸问题上实现线性收敛，并在大规模机器学习任务（如ℓ1-和ℓ2-正则化逻辑回归）中优于当前最先进的求解器。

ABSTRACT

In this paper, we study optimization methods consisting of iteratively minimizing surrogates of an objective function. By proposing several algorithmic variants and simple convergence analyses, we make two main contributions. First, we provide a unified viewpoint for several first-order optimization techniques such as accelerated proximal gradient, block coordinate descent, or Frank-Wolfe algorithms. Second, we introduce a new incremental scheme that experimentally matches or outperforms state-of-the-art solvers for large-scale optimization problems typically arising in machine learning.

研究动机与目标

• 将多种一阶优化技术统一到一个基于近似函数的框架下。
• 开发一种新型增量优化方案，具备强大的理论收敛保证。
• 利用一阶近似函数分析非凸和凸问题的收敛性。
• 在大规模机器学习问题上对所提方法进行实验评估。

提出的方法

• 提出一阶近似函数，其能上界逼近目标函数，且逼近误差具有L-Lipschitz连续梯度。
• 引入一种通用的极大化-极小化算法，通过迭代最小化近似函数实现。
• 推导出一种具有收敛性保证的随机块坐标下降变体。
• 提出一种受Nesterov方法启发的加速变体，适用于凸问题。
• 开发一种新型增量方案MISO，专为大规模问题设计，具备线性收敛特性。
• 建立理论收敛速率：强凸问题下为线性收敛，非凸情况下为渐近平稳性。

实验结果

研究问题

• RQ1 能否构建一个统一框架，利用近似函数分析多种一阶优化方法？
• RQ2 所提出的MISO算法是否在强凸问题上实现线性收敛？
• RQ3 在实践中，MISO与SAG和SDCA等当前最先进的求解器相比表现如何？
• RQ4 基于近似函数的方法能否扩展到具有理论保证的增量和块坐标设置？
• RQ5 MISO在大规模逻辑回归任务上的实际性能如何？

主要发现

• MISO在强凸问题上实现线性收敛，收敛速率与SAG和SDCA的最佳已知速率相当。
• 在实验中，MISO在ℓ2-和ℓ1-正则化逻辑回归任务上与当前最先进的求解器（如FISTA、LIBLINEAR、SAG）相比表现相当或更优。
• 在λ = 10−3和λ = 10−7的ℓ2-正则化逻辑回归问题中，MISO在有效数据遍历次数上优于FISTA、LIBLINEAR和ASGD。
• 在稀疏问题（约3%非零系数）中，MISO优于FISTA和LIBLINEAR，表现出对稀疏性的鲁棒性。
• 在非零系数占比约50%的问题中，MISO仍保持竞争力，表现出在不同稀疏水平下的稳定性能。
• 理论分析证实，在强凸条件下，MISO及其他变体均实现线性收敛，且给出了次优性误差的显式上界。