[论文解读] Revisiting Frank-Wolfe for Polytopes: Strict Complementarity and Sparsity

Dan Garber|arXiv (Cornell University)|May 31, 2020

Advanced Combinatorial Mathematics参考文献 28被引用 4

一句话总结

本文重新审视在多面体上进行光滑凸优化的Frank-Wolfe算法，表明即使采用标准的带远离步的变体，其最坏情况下的收敛率仍显式依赖于环境维度。研究证明，在严格互补性条件下，收敛速度变为线性，且仅依赖于最优面的维度，从而解释了在稀疏问题中经验上的成功，并将该条件与最优解的噪声鲁棒性联系起来。

ABSTRACT

In recent years it was proved that simple modifications of the classical Frank-Wolfe algorithm (aka conditional gradient algorithm) for smooth convex minimization over convex and compact polytopes, converge with linear rate, assuming the objective function has the quadratic growth property. However, the rate of these methods depends explicitly on the dimension of the problem which cannot explain their empirical success for large scale problems. In this paper we first demonstrate that already for very simple problems and even when the optimal solution lies on a low-dimensional face of the polytope, such dependence on the dimension cannot be avoided in worst case. We then revisit the addition of a strict complementarity assumption already considered in Wolfe's classical book \cite{Wolfe1970}, and prove that under this condition, the Frank-Wolfe method with away-steps and line-search converges linearly with rate that depends explicitly only on the dimension of the optimal face. We motivate strict complementarity by proving that it implies sparsity-robustness of optimal solutions to noise.

研究动机与目标

• 解释带远离步的Frank-Wolfe变体在大规模稀疏问题中经验成功的原因，其中收敛速率似乎与环境维度无关。
• 证明即使最优解位于低维面上，标准Frank-Wolfe方法带远离步的最坏情况收敛速率仍显式依赖于环境问题维度。
• 重新引入Wolfe工作中的经典严格互补性条件，并证明该条件可实现与维度无关的线性收敛速率，且仅依赖于最优面维度。
• 通过证明其蕴含最优解对确定性噪声扰动的鲁棒性，来为严格互补性提供动机。

提出的方法

• 提出一种最坏情况构造，表明即使最优解为顶点（0维面），Frank-Wolfe带远离步仍需与环境维度成比例的迭代次数，证明此类依赖在一般情况下不可避免。
• 重新审视Wolfe的严格互补性条件，该条件确保在最优解处，梯度在不属于最优面的顶点上严格为正。
• 证明在严格互补性条件下，带线搜索的Frank-Wolfe方法与远离步可实现线性收敛，其速率仅依赖于最优面维度，而非环境空间。
• 通过对偶间隙分析并限制搜索方向的范数，证明一旦迭代点进入最优面，收敛速率将提升，且仅依赖于该面的几何结构。
• 建立严格互补性条件意味着最优面对于确定性扰动具有鲁棒性：小噪声不会使最优解移动到更高维面。
• 利用现有收敛结果（例如Lacoste-Julien与Jaggi, 2015的定理2）来界定对偶间隙并控制步长，确保迭代点最终进入并保留在最优面中。

实验结果

研究问题

• RQ1 当最优解位于多面体的低维面上时，能否避免Frank-Wolfe收敛速率对环境维度的显式依赖？
• RQ2 经典严格互补性条件（此前Wolfe与Guélat & Marcotte使用）是否能带来仅依赖于最优面维度的改进收敛速率？
• RQ3 严格互补性与稀疏优化问题中最优解对确定性噪声的鲁棒性之间有何关系？
• RQ4 为何远离步Frank-Wolfe变体在实践中表现良好，尽管其理论收敛速率仍随环境维度增长？

主要发现

• 最坏情况构造表明，即使最优解为顶点（0维面），Frank-Wolfe带远离步仍需与环境维度成比例的迭代次数，证明此类依赖在一般情况下不可避免。
• 在严格互补性条件下，带远离步与线搜索的Frank-Wolfe方法实现线性收敛，其速率仅依赖于最优面维度，而非环境维度。
• 严格互补性条件确保最优解处的梯度与所有不属于最优面的顶点的内积为正，从而使得算法能够避免不必要的步骤，并保持迭代点在最优面内。
• 本文证明严格互补性意味着最优面对于确定性扰动具有鲁棒性：小噪声不会使最优解移动到更高维面，支持其作为问题良好条件化的形式。
• 通过用最优面的直径D_F*替代全局直径D，改进了收敛速率界，得到更紧致且依赖于面维度的速率。
• 分析表明，一旦迭代点进入最优面（在有限步之后），算法的行为如同在低维多面体上进行优化，从而实现更快收敛。