[论文解读] The Complexity of Large-scale Convex Programming under a Linear Optimization Oracle

Guanghui Lan|arXiv (Cornell University)|Sep 22, 2013

Sparse and Compressive Sensing Techniques参考文献 46被引用 86

一句话总结

本文建立了基于线性优化的凸规划（LCP）方法的复杂度下界，证明了在LO预言机下，条件梯度（CndG）方法对光滑凸问题具有最优性。文章提出了两种新型加速LCP变体——PA-CndG与PDA-CndG，源自Nesterov方法，展示了更优的收敛速度与数值表现，尤其在框约束问题上表现突出。

ABSTRACT

This paper considers a general class of iterative optimization algorithms, referred to as linear-optimization-based convex programming (LCP) methods, for solving large-scale convex programming (CP) problems. The LCP methods, covering the classic conditional gradient (CG) method (a.k.a., Frank-Wolfe method) as a special case, can only solve a linear optimization subproblem at each iteration. In this paper, we first establish a series of lower complexity bounds for the LCP methods to solve different classes of CP problems, including smooth, nonsmooth and certain saddle-point problems. We then formally establish the theoretical optimality or nearly optimality, in the large-scale case, for the CG method and its variants to solve different classes of CP problems. We also introduce several new optimal LCP methods, obtained by properly modifying Nesterov's accelerated gradient method, and demonstrate their possible advantages over the classic CG for solving certain classes of large-scale CP problems.

研究动机与目标

• 在使用线性优化预言机的前提下，为求解光滑、非光滑及鞍点凸问题的LCP方法建立紧致的复杂度下界。
• 在大规模设置下，正式证明条件梯度（CndG）方法及其变体的理论最优性。
• 通过将Nesterov的加速梯度方法适配至LO预言机框架，开发新的最优或近似最优LCP方法。
• 通过数值实验表明，PDA-CndG在某些大规模问题类别中，尤其是具有框型约束的问题中，显著优于经典CndG与PA-CndG。

提出的方法

• 通过最坏情况分析推导LCP方法的复杂度下界，推广了文献中已有的结果。
• 将Nesterov最优一阶方法框架应用于构造新的LCP变体——PA-CndG与PDA-CndG，通过修改更新规则以适应LO预言机约束。
• 通过原始-对偶加速技术引入PDA-CndG方法，提升具有结构化约束问题的收敛性能。
• 采用线性优化预言机，在每次迭代中求解形式为 $\arg\min_{x\in X} \langle p, x \rangle$ 的子问题，避免昂贵的近端或投影步骤。
• 在LO预言机模型下，分析不同问题类别（光滑、非光滑、鞍点问题）的收敛速率。
• 通过在单纯形、谱体、超立方体及超立方体-单纯形交集上的QP问题进行广泛数值实验验证性能。

实验结果

研究问题

• RQ1 在使用线性优化预言机的前提下，求解光滑、非光滑及鞍点凸问题的LCP方法的基本复杂度下界是什么？
• RQ2 在LO预言机下，经典条件梯度（CndG）方法是否为光滑凸问题中LCP方法的最优解？
• RQ3 Nesterov的加速技术能否被有效适配至LCP框架，以获得收敛速度更快的算法？
• RQ4 在具有框型约束的大规模问题中，新提出的LCP变体PA-CndG与PDA-CndG与CndG及PA-CndG相比，数值表现如何？
• RQ5 在何种问题结构下，尽管PDA-CndG与标准CndG具有相似的最坏情况复杂度边界，PDA-CndG在实践中仍能显著优于后者？

主要发现

• 在LO预言机下，CndG方法对光滑凸问题实现了 $\mathcal{O}(1/\epsilon)$ 的最优收敛速率，与已建立的下界一致。
• 对于非光滑与鞍点问题，本文建立了复杂度下界，并表明某些LCP变体可实现近乎最优性能。
• 在超立方体及超立方体-单纯形交集上的QP问题中，PDA-CndG方法相比CndG与PA-CndG的性能提升可达两个数量级。
• 在数值实验中，PDA-CndG在100次迭代内达到的的目标值，与CndG在1000次迭代内的结果相当，且精度高出1至3位有效数字。
• PDA-CndG方法在保持最优收敛速率的同时，在框约束问题上展现出更优越的实际性能，尤其在维度增加时更为明显。
• PA-CndG与PDA-CndG方法继承了与CndG相同的最坏情况复杂度，但由于改进的步长与动量策略，在实际中表现出显著更快的收敛速度。