[论文解读] On the Global Linear Convergence of Frank-Wolfe Optimization Variants

Simon Lacoste-Julien, Martin Jaggi|arXiv (Cornell University)|Nov 18, 2015

Sparse and Compressive Sensing Techniques参考文献 36被引用 160

一句话总结

本文在弱于强凸性的条件下，建立了多种Frank-Wolfe变体（包括远离步FW、成对FW、完全校正FW以及Wolfe最小范数点）的全局线性收敛性。证明了收敛性取决于函数条件数与多面体新几何条件数的乘积，从而为结构化机器学习问题提供了更快、全局收敛的优化方法。

ABSTRACT

The Frank-Wolfe (FW) optimization algorithm has lately re-gained popularity thanks in particular to its ability to nicely handle the structured constraints appearing in machine learning applications. However, its convergence rate is known to be slow (sublinear) when the solution lies at the boundary. A simple less-known fix is to add the possibility to take 'away steps' during optimization, an operation that importantly does not require a feasibility oracle. In this paper, we highlight and clarify several variants of the Frank-Wolfe optimization algorithm that have been successfully applied in practice: away-steps FW, pairwise FW, fully-corrective FW and Wolfe's minimum norm point algorithm, and prove for the first time that they all enjoy global linear convergence, under a weaker condition than strong convexity of the objective. The constant in the convergence rate has an elegant interpretation as the product of the (classical) condition number of the function with a novel geometric quantity that plays the role of a 'condition number' of the constraint set. We provide pointers to where these algorithms have made a difference in practice, in particular with the flow polytope, the marginal polytope and the base polytope for submodular optimization.

研究动机与目标

• 澄清并统一实践中主要Frank-Wolfe变体的收敛行为。
• 为远离步FW、成对FW、完全校正FW以及Wolfe最小范数点算法建立全局线性收敛性。
• 识别出弱于强凸性的充分条件，适用于目标函数非全局强凸的情况。
• 引入多面体的新几何条件数，用于独立于解位置量化收敛速度。
• 证明收敛速率常数可清晰分解为函数条件数与多面体几何条件数的乘积。

提出的方法

• 提出广义几何强凸性条件，弱化经典强凸性的要求。
• 定义新的几何量——多面体条件数，用于捕捉约束集的曲率并影响收敛速度。
• 采用统一分析框架，证明四种FW变体（AFW、PFW、FCFW、MNP）的线性收敛性。
• 采用基于间隙的分析方法，其中次优性误差由Frank-Wolfe间隙的平方乘以广义强凸性常数有界。
• 用依赖于活动集几何与解相对位置的广义强凸性常数 ˜μ_f 替代经典强凸性常数 μ。
• 证明收敛速率具有仿射不变性，且当最优解位于多面体边界时不会恶化。

实验结果

研究问题

• RQ1 远离步及其他FW变体是否可在弱于强凸性的条件下实现全局线性收敛？
• RQ2 约束集的何种几何性质决定了Frank-Wolfe变体的线性收敛速率？
• RQ3 收敛速率如何依赖于最优解在多面体内的位置？
• RQ4 是否存在一个统一的理论框架，可统一分析包括完全校正与最小范数点方法在内的多种FW变体的收敛性？
• RQ5 是否存在一个多面体的条件数，其作用类似于函数条件数，用于决定收敛速度？

主要发现

• 所有四种FW变体——远离步FW、成对FW、完全校正FW以及Wolfe最小范数点——在广义几何强凸性条件下均实现全局线性收敛。
• 线性收敛速率由函数条件数与多面体新几何条件数的乘积决定，后者捕捉了可行集的曲率。
• 即使最优解位于多面体边界时，收敛常数仍保持远离零，而此前结果在接近相对边界时会恶化。
• 广义强凸性条件 ˜μ_f > 0 严格弱于Robinson条件，即使对非严格凸函数或存在多个全局最小值的情况，也能保证线性收敛。
• 收敛速率具有仿射不变性，且无需事先知道问题特定参数（如强凸性常数或Lipschitz常数）。
• 分析提供了次优性误差的紧界：h_t ≤ g_t² / (2˜μ_f)，其形式与经典情况一致，但以 ˜μ_f 替代标准的 μ_f^A。