[论文解读] Second-order Conditional Gradients

Alejandro Carderera, Sebastian Pokutta|arXiv (Cornell University)|Feb 20, 2020

Sparse and Compressive Sensing Techniques被引用 2

一句话总结

该论文提出了一种无投影的二阶条件梯度滑动算法（Second-Order Conditional Gradient Sliding, SOCGS），用于约束型二阶凸优化。该算法通过线性最小化预言机不精确求解子问题，可在有限次迭代后实现原始间隙的二次收敛，仅需 O(log(log 1/ε)) 次一阶梯度和 Hessian 预言机调用，以及 O(log(1/ε) log(log 1/ε)) 次线性最小化预言机调用，即可达到 ε-最优性，当可行集为多面体时成立。

ABSTRACT

Constrained second-order convex optimization algorithms are the method of choice when a high accuracy solution to a problem is needed, due to their local quadratic convergence. These algorithms require the solution of a constrained quadratic subproblem at every iteration. We present the \emph{Second-Order Conditional Gradient Sliding} (SOCGS) algorithm, which uses a projection-free algorithm to solve the constrained quadratic subproblems inexactly. When the feasible region is a polytope the algorithm converges quadratically in primal gap after a finite number of linearly convergent iterations. Once in the quadratic regime the SOCGS algorithm requires $\mathcal{O}(\log(\log 1/\varepsilon))$ first-order and Hessian oracle calls and $\mathcal{O}(\log (1/\varepsilon) \log(\log1/\varepsilon))$ linear minimization oracle calls to achieve an $\varepsilon$-optimal solution. This algorithm is useful when the feasible region can only be accessed efficiently through a linear optimization oracle, and computing first-order information of the function, although possible, is costly.

研究动机与目标

• 解决约束型二阶优化中一阶梯度和 Hessian 预言机使用带来的高计算成本挑战。
• 在无需显式投影的情况下，高效求解二阶方法中的约束二次子问题。
• 仅使用线性最小化预言机，在多面体上实现凸优化的原始间隙二次收敛。
• 在保持快速收敛速率的同时，减少昂贵的一阶梯度和 Hessian 预言机调用次数。
• 为线性优化高效但梯度与 Hessian 计算昂贵的场景提供实用算法。

提出的方法

• 提出 SOCGS，一种无投影算法，结合条件梯度步骤与约束二次子问题的不精确求解。
• 利用线性最小化预言机在每次迭代中近似求解二次子问题，避免昂贵的投影操作。
• 整合二阶信息（Hessian）以在初始线性收敛阶段之后实现原始间隙的局部二次收敛。
• 采用滑动机制，随着算法趋近最优解，逐步降低对子问题解精度的要求。
• 在可行区域为多面体的假设下分析收敛性，利用线性最小化预言机的结构特性。
• 建立一阶梯度、Hessian 和线性最小化预言机调用次数的复杂度界，表明其对所需精度 ε 的对数依赖性。

实验结果

研究问题

• RQ1 当仅能访问线性最小化预言机时，能否在无投影设置下实现二阶收敛？
• RQ2 在约束型二阶优化中，达到 ε-最优性所需的最少一阶梯度和 Hessian 预言机调用次数是多少？
• RQ3 如何有效利用二次子问题的不精确解，在无投影条件下维持快速收敛？
• RQ4 在二阶条件梯度方法中，子问题解的精度与整体收敛速率之间存在何种权衡？
• RQ5 该算法能否在最小化对昂贵梯度与 Hessian 评估依赖的同时，实现原始间隙的二次收敛？

主要发现

• 当可行集为多面体时，SOCGS 在有限次迭代后可实现原始间隙的局部二次收敛。
• 该算法达到 ε-最优解仅需 O(log(log 1/ε)) 次一阶梯度和 Hessian 预言机调用。
• 其线性最小化预言机调用次数为 O(log(1/ε) log(log 1/ε))，在 Oracle 复杂度上近乎最优。
• 该方法在不使用显式投影的情况下维持快速收敛，完全依赖线性最小化预言机。
• 一旦算法进入最终阶段，原始间隙的收敛速率呈二次，表明在最优解附近能实现快速提升。
• 当梯度与 Hessian 计算昂贵但可行集上的线性优化高效时，该方法尤为有效。