[论文解读] One Sample Stochastic Frank-Wolfe

Mingrui Zhang, Zebang Shen+3 more|arXiv (Cornell University)|Oct 10, 2019

Stochastic Gradient Optimization Techniques参考文献 42被引用 11

一句话总结

本文提出1-SFW，首个实现最优收敛速率的一样本随机Frank-Wolfe算法，通过引入一种新颖的无偏动量估计器，避免了对批量大小或学习率的调优，同时在投影-free的随机优化中保持了稳定性和效率。该算法在凸问题中达到$Ó(1/ au^2)$的收敛速率，在非凸问题中达到$Ó(1/ au^3)$的收敛速率。

ABSTRACT

One of the beauties of the projected gradient descent method lies in its rather simple mechanism and yet stable behavior with inexact, stochastic gradients, which has led to its wide-spread use in many machine learning applications. However, once we replace the projection operator with a simpler linear program, as is done in the Frank-Wolfe method, both simplicity and stability take a serious hit. The aim of this paper is to bring them back without sacrificing the efficiency. In this paper, we propose the first one-sample stochastic Frank-Wolfe algorithm, called 1-SFW, that avoids the need to carefully tune the batch size, step size, learning rate, and other complicated hyper parameters. In particular, 1-SFW achieves the optimal convergence rate of $\mathcal{O}(1/ε^2)$ for reaching an $ε$-suboptimal solution in the stochastic convex setting, and a $(1-1/e)-ε$ approximate solution for a stochastic monotone DR-submodular maximization problem. Moreover, in a general non-convex setting, 1-SFW finds an $ε$-first-order stationary point after at most $\mathcal{O}(1/ε^3)$ iterations, achieving the current best known convergence rate. All of this is possible by designing a novel unbiased momentum estimator that governs the stability of the optimization process while using a single sample at each iteration.

研究动机与目标

• 解决现有单样本梯度下随机Frank-Wolfe方法存在的不稳定性和收敛性差的问题。
• 克服投影-free随机优化中样本效率与收敛速率之间的权衡。
• 开发一种每轮迭代仅使用一个随机样本即可实现最优收敛复杂度的方法。
• 在数据分布依赖于决策变量的非盲随机设置中实现高效优化。
• 在凸、非凸及单调DR-子模设置下实现最先进收敛速率，且无需调优超参数。

提出的方法

• 提出一种新颖的无偏动量估计器，以仅用一个样本每轮迭代的方式稳定梯度近似。
• 设计一种一样本随机Frank-Wolfe算法（1-SFW），用约束集上的线性最小化替代投影操作。
• 引入一种递归平均方案，即使在梯度估计器存在偏差的情况下也能确保收敛。
• 采用递减步长$\eta_t = T^{-1}$，在非凸情形下平衡收敛性与稳定性。
• 利用目标函数与梯度的光滑性与有界性假设，推导收敛边界。
• 在分析中应用Jensen不等式与柯西-施瓦茨不等式，以界定期望次优性与梯度误差。

实验结果

研究问题

• RQ1 能否在每轮迭代仅使用一个样本的情况下，使随机Frank-Wolfe方法实现最优收敛速率？
• RQ2 能否在不依赖大批次或方差减少技术的前提下，保持随机Frank-Wolfe方法的稳定性？
• RQ3 所提方法在数据分布依赖于决策变量的非盲随机设置中是否仍能保持最优复杂度？
• RQ4 能否在仅使用一个样本的情况下，使算法实现非凸问题中已知最佳的$\mathcal{O}(1/\epsilon^3)$收敛速率？
• RQ5 是否可能在保持最优收敛性的同时，完全消除超参数调优（如批量大小、学习率）？

主要发现

• 1-SFW在随机凸最小化中实现了$\mathcal{O}(1/\epsilon^2)$的收敛速率，与批量方法的最优复杂度一致。
• 在单调DR-子模最大化问题中，1-SFW以$\mathcal{O}(1/\epsilon^2)$的样本复杂度达到$(1 - 1/e) - \epsilon$的近似比。
• 在非凸设置下，1-SFW在$\mathcal{O}(1/\epsilon^3)$轮迭代内找到$\epsilon$-一阶平稳点，与目前已知最佳速率一致。
• 该算法每轮仅使用一个样本，且避免了对批量大小、步长或学习率的调优。
• 收敛分析依赖于一种新型无偏动量估计器，可控制偏差并确保稳定性。
• 该方法适用于非盲随机优化场景，即数据分布依赖于决策变量，从而拓展了其在强化学习与子模优化中的适用范围。