[论文解读] Randomized First-Order Methods for Saddle Point Optimization

Cong D. Dang, Guanghui Lan|arXiv (Cornell University)|Sep 30, 2014

Stochastic Gradient Optimization Techniques参考文献 48被引用 26

一句话总结

该论文提出了一种用于具有块结构对偶空间的鞍点问题的随机化原始-对偶（RPD）方法，其中每次迭代仅求解一个随机选择的对偶子问题。该方法在一般双线性问题上实现了 O(1/N) 的收敛速率，在平滑问题上实现了 O(1/N²) 的收敛速率，且无需强凸性、有界可行集或初始距离估计。

ABSTRACT

In this paper, we present novel randomized algorithms for solving saddle point problems whose dual feasible region is given by the direct product of many convex sets. Our algorithms can achieve an ${\cal O}(1/N)$ and ${\cal O}(1/N^2)$ rate of convergence, respectively, for general bilinear saddle point and smooth bilinear saddle point problems based on a new prima-dual termination criterion, and each iteration of these algorithms needs to solve only one randomly selected dual subproblem. Moreover, these algorithms do not require strongly convex assumptions on the objective function and/or the incorporation of a strongly convex perturbation term. They do not necessarily require the primal or dual feasible regions to be bounded or the estimation of the distance from the initial point to the set of optimal solutions to be available either. We show that when applied to linearly constrained problems, RPDs are equivalent to certain randomized variants of the alternating direction method of multipliers (ADMM), while a direct extension of ADMM does not necessarily converge when the number of blocks exceeds two.

研究动机与目标

• 为数据挖掘和机器学习中出现的大规模鞍点问题开发高效的首阶方法，其中每次迭代遍历全部数据不切实际。
• 通过提出一种随机化替代方案，解决经典 ADMM 在超过两个块的问题中可能不收敛的局限性。
• 在收敛性分析中消除对强凸性、有界可行集或对最优解初始距离知识的需求。
• 在最小假设下建立收敛速率，包括对无界或非强凸问题的适用性。
• 证明所提出的 RPD 方法与线性约束问题下随机化版本的近端 ADMM 之间的等价性。

提出的方法

• RPD 算法在每次迭代中从对偶分解中随机选择一个块 $ i_t $，仅通过一个近端子问题更新对应的对偶变量和原始变量。
• 该方法使用一种新的原始-对偶终止准则，使得在无需有界性或强凸性假设下也能进行收敛速率分析。
• 每次迭代仅求解一个子问题：对选定的原始块 $ x_{i_t} $ 进行近端最小化，随后使用对偶迭代的加权平均进行对偶更新。
• 该算法引入自适应步长 $ au_t, ho_t, heta_t $ 和一种类似动量的项 $ ar{y}^{t+1} $ 以加速收敛。
• 当应用于线性约束问题时，该方法被证明与近端 ADMM 的一种随机化变体等价。
• 分析基于一种新颖的基于对偶间隙的终止准则，使得在无需强凸性或有界性假设下也能获得紧致的收敛界。

实验结果

研究问题

• RQ1 是否能设计一种随机化首阶方法，在无需强凸性或有界可行集的条件下，实现对一般双线性鞍点问题的 O(1/N) 收敛速率？
• RQ2 对对偶变量采用随机化块坐标方法是否在收敛速率和计算效率上优于全块方法？
• RQ3 当 ADMM 失效时，该方法是否仍能保持收敛，特别是在超过两个块的问题中？
• RQ4 对于平滑鞍点问题，该随机化原始-对偶方法的收敛速率是多少？在温和假设下能否实现 O(1/N²)？
• RQ5 随机化原始-对偶方法与近端 ADMM 之间有何关系？在何种条件下二者等价？

主要发现

• RPD 方法在无需强凸性或有界可行集的条件下，对一般双线性鞍点问题实现了 O(1/N) 的收敛速率。
• 对于平滑双线性鞍点问题，该方法实现了改进的 O(1/N²) 收敛速率，与确定性方法的最佳已知速率相当。
• 即使原始或对偶可行集无界，且无需知道初始到最优解的距离，该算法仍能收敛。
• 实验结果表明，对于 Chen 等人 [7] 提供的一个反例（p=3 个块），标准 ADMM 失败，而 RPD 方法仍能收敛到最优解。
• 对于线性约束问题，该方法与近端 ADMM 的一种随机化变体等价，为标准 ADMM 失效时提供了一种收敛的替代方案。
• 收敛性分析基于一种新的原始-对偶终止准则，使得在无需强凸性或有界性假设下也能获得紧致的界。