[论文解读] Projection-Free Optimization on Uniformly Convex Sets

Thomas Kerdreux, Alexandre d’Aspremont+1 more|arXiv (Cornell University)|Apr 23, 2020

Sparse and Compressive Sensing Techniques参考文献 74被引用 11

一句话总结

本文证明了在一致凸约束集上，Frank-Wolfe算法可实现加速收敛速率，这类约束集广义化了强凸集，包括p>1时的ℓp-球。关键贡献在于表明：驱动更快收敛的并非仅强凸性，而是通过一致凸性度量的曲率；且这些速率根据集合的几何结构在已知的次线性与线性速率之间插值。

ABSTRACT

The Frank-Wolfe method solves smooth constrained convex optimization problems at a generic sublinear rate of $\mathcal{O}(1/T)$, and it (or its variants) enjoys accelerated convergence rates for two fundamental classes of constraints: polytopes and strongly-convex sets. Uniformly convex sets non-trivially subsume strongly convex sets and form a large variety of extit{curved} convex sets commonly encountered in machine learning and signal processing. For instance, the $\ell_p$-balls are uniformly convex for all $p > 1$, but strongly convex for $p\in]1,2]$ only. We show that these sets systematically induce accelerated convergence rates for the original Frank-Wolfe algorithm, which continuously interpolate between known rates. Our accelerated convergence rates emphasize that it is the curvature of the constraint sets -- not just their strong convexity -- that leads to accelerated convergence rates. These results also importantly highlight that the Frank-Wolfe algorithm is adaptive to much more generic constraint set structures, thus explaining faster empirical convergence. Finally, we also show accelerated convergence rates when the set is only locally uniformly convex and provide similar results in online linear optimization.

研究动机与目标

• 理解Frank-Wolfe算法在如ℓp-球等曲率约束集上为何实际收敛快于次线性O(1/T)速率。
• 将已知的收敛速率结果从强凸集扩展至更广泛的统一凸集类别。
• 形式化曲率在加速收敛中的作用，且独立于函数的强凸性。
• 分析局部一致凸性及其在非全局设置下对收敛速率的影响。
• 将加速收敛结果扩展至具有统一凸约束的在线线性优化设置。

提出的方法

• 引入约束集的一般化一致凸概念，通过函数γC(r) ≥ αr^q（其中q > 0）定义。
• 在一致凸性假设下，分析采用精确线搜索和短步长的Frank-Wolfe算法。
• 推导出基于一致凸性参数q、在次线性与线性速率之间插值的收敛速率。
• 证明：对于(α,q)-一致凸集，在适当的步长规则下，Frank-Wolfe间隙以O(1/T^q)衰减。
• 利用局部标度不等式量化当最优解位于边界曲率区域时的收敛加速。
• 通过相同的基于曲率的分析框架，将结果扩展至在线线性优化。

实验结果

研究问题

• RQ1 约束集的一致凸性是否会在Frank-Wolfe算法中导致超出多面体和强凸集已知情况的加速收敛？
• RQ2 即使目标函数f不具强凸性，是否仍可通过利用约束集的曲率来改进Frank-Wolfe的收敛速率？
• RQ3 收敛速率如何依赖于约束集的局部几何结构，特别是边界处曲率变化的区域？
• RQ4 能否通过一致凸性理论证明在ℓp-球（如p>2）上观察到的加速收敛现象？
• RQ5 在一致凸性假设下，类似加速速率是否也适用于在线线性优化设置？

主要发现

• 在(α,q)-一致凸集上，Frank-Wolfe算法实现O(1/T^q)收敛速率，其中q > 0量化了曲率，插值于次线性与线性速率之间。
• 对于p>1的ℓp-球（当p>2时非强凸），算法根据p实现加速速率，且在边界曲率区域收敛更快。
• 当最优解x*位于边界曲率区域（如ℓp-球中∑e_i附近）时，即使f无强凸性，收敛亦可达到线性速率（尤其当p接近2时）。
• 在边界平坦区域（如e1附近），收敛保持次线性，除非p接近2，凸显了局部曲率的作用。
• 确定性线搜索（1/(k+1)）无法实现加速速率，而短步长与精确线搜索在一致凸性下可实现O(1/T^q)速率。
• 结果可扩展至在线线性优化，表明局部一致凸集同样在在线设置中诱导加速收敛。