[论文解读] Stochastic Frank-Wolfe for Composite Convex Minimization

Francesco Locatello, Alp Yurtsever+2 more|Infoscience (Ecole Polytechnique Fédérale de Lausanne)|Jan 29, 2019

Sparse and Compressive Sensing Techniques被引用 10

一句话总结

该论文提出了首个用于仿射约束下复合凸最小化问题的随机Frank-Wolfe方法，通过线性最小化Oracle（lmo）避免昂贵的投影计算。其在目标残差上达到$Ó(k^{-1/3})$的收敛速率，在可行性间隙上达到$Ó(k^{-5/12})$，从而为机器学习和工程中的随机半定规划问题提供了可扩展的解决方案。

ABSTRACT

A broad class of convex optimization problems can be formulated as a semidefinite program (SDP), minimization of a convex function over the positive-semidefinite cone subject to some affine constraints. The majority of classical SDP solvers are designed for the deterministic setting where problem data is readily available. In this setting, generalized conditional gradient methods (aka Frank-Wolfe-type methods) provide scalable solutions by leveraging the so-called linear minimization oracle instead of the projection onto the semidefinite cone. Most problems in machine learning and modern engineering applications, however, contain some degree of stochasticity. In this work, we propose the first conditional-gradient-type method for solving stochastic optimization problems under affine constraints. Our method guarantees $\mathcal{O}(k^{-1/3})$ convergence rate in expectation on the objective residual and $\mathcal{O}(k^{-5/12})$ on the feasibility gap.

研究动机与目标

• 填补现有条件梯度方法在具有仿射约束的随机复合凸优化问题中的空白。
• 实现对随机半定规划（SDP）的可扩展求解，其中无法获取完整数据。
• 通过使用线性最小化Oracle（lmo）克服投影到半正定锥带来的计算瓶颈。
• 在存在随机性和仿射约束的情况下，为Lipschitz连续型与指示函数型正则项提供收敛性保证。
• 弥合经典Frank-Wolfe方法与现代机器学习中随机、约束优化问题之间的差距。

提出的方法

• 提出一种随机Frank-Wolfe变体，用可行集$\mathcal{X}$的线性最小化Oracle（lmo）替代投影步骤。
• 在存在仿射约束时，使用平滑技术处理lmo，将其转化为可计算的子问题。
• 为非光滑项$g(Ax)$引入类似邻近的平滑方案，以高效计算近似lmo。
• 采用自适应步长$\eta_k = \frac{9}{\delta(k-1)+9}$和光滑参数$\beta_k = \frac{\beta_0}{\sqrt{\delta(k-1)+9}}$，以平衡收敛速度与精度。
• 利用Lagrangian鞍点理论和二阶不等式求解方法，推导可行性间隙与目标残差的上界。
• 使用$f(x,\omega)$的随机梯度估计更新迭代点，同时在随机采样下保持收敛性。

实验结果

研究问题

• RQ1 能否为具有仿射约束的随机复合凸优化问题设计一种条件梯度类方法？
• RQ2 在随机设置下，目标残差与可行性间隙的收敛速率可保证达到何种程度？
• RQ3 当仿射约束使lmo计算困难时，如何高效计算lmo？
• RQ4 平滑技术是否可用于在存在非光滑或约束项时使lmo可计算？
• RQ5 与基于投影的方法相比，所提方法在收敛性与计算成本方面表现如何？

主要发现

• 当$g$为$L_g$-Lipschitz连续时，所提方法在期望目标残差上达到$\mathcal{O}(k^{-1/3})$的收敛速率。
• 当$g$为凸集$\mathcal{K}$的指示函数时，方法在目标残差上达到$\mathcal{O}(k^{-1/3})$，在可行性间隙上达到$\mathcal{O}(k^{-5/12})$。
• 通过依赖lmo，该方法避免了对半正定锥的昂贵投影，而lmo可通过特征向量计算高效求解。
• 即使在存在仿射约束时，也通过平滑技术使lmo可计算，从而支持使用随机子空间迭代或幂法。
• 实验结果验证了理论收敛速率，并在可扩展性和运行时间方面展现出对基于投影算法的优势。
• 该方法适用于随机SDP问题，如流式PCA、在线聚类和核学习，其中每次迭代仅能访问部分数据。