[论文解读] Randomized Methods for Saddle Point Computation

Cong D. Dang, Guanghui Lan|arXiv (Cornell University)|Sep 30, 2014

Stochastic Gradient Optimization Techniques被引用 2

一句话总结

本文提出了一类用于具有复合对偶可行集的鞍点问题的随机化原始-对偶算法。通过在每次迭代中仅求解一个随机选择的对偶子问题，并采用一种新型终止准则，该方法在一般和光滑双线性鞍点问题中分别实现了 O(1/N) 和 O(1/N²) 的收敛速率，且无需强凸性、有界区域或初始距离估计。

ABSTRACT

In this paper, we present novel randomized algorithms for solving saddle point problems whose dual feasible region is given by the direct product of many convex sets. Our algorithms can achieve an ${\cal O}(1/N)$ and ${\cal O}(1/N^2)$ rate of convergence, respectively, for general bilinear saddle point and smooth bilinear saddle point problems based on a new prima-dual termination criterion, and each iteration of these algorithms needs to solve only one randomly selected dual subproblem. Moreover, these algorithms do not require strongly convex assumptions on the objective function and/or the incorporation of a strongly convex perturbation term. They do not necessarily require the primal or dual feasible regions to be bounded or the estimation of the distance from the initial point to the set of optimal solutions to be available either. We show that when applied to linearly constrained problems, RPDs are equivalent to certain randomized variants of the alternating direction method of multipliers (ADMM), while a direct extension of ADMM does not necessarily converge when the number of blocks exceeds two.

研究动机与目标

• 开发用于求解具有复合对偶可行集的鞍点问题的高效随机化算法。
• 在不依赖强凸性或扰动项的前提下，实现更快的收敛速率，特别是 O(1/N) 和 O(1/N²)。
• 消除对有界原始或对偶可行集的依赖，以及对初始点到最优解集距离估计的需求。
• 建立所提出的随机化原始-对偶方法与线性约束情形下随机化 ADMM 变体之间的等价性。
• 证明当块数超过两个时，标准 ADMM 的直接扩展无法收敛，从而凸显采用替代方法的必要性。

提出的方法

• 该算法在每次迭代中以均匀随机方式选择一个对偶子问题，从而降低每一步的计算成本。
• 提出一种新型原始-对偶终止准则，以指导收敛过程，而无需依赖最优解集的知识。
• 该方法不假设目标函数具有强凸性，也未添加扰动项。
• 该方法设计用于即使在原始或对偶可行集无界的情况下依然适用。
• 当应用于线性约束问题时，该框架与随机化 ADMM 变体等价。
• 收敛性分析在最小假设下进行，仅依赖于凸性与问题结构。

实验结果

研究问题

• RQ1 在不依赖强凸性的情况下，随机选择子问题能否实现一般鞍点问题的 O(1/N) 和 O(1/N²) 收敛速率？
• RQ2 如何设计一种原始-对偶终止准则，以确保在不预先知晓最优解集的情况下实现收敛？
• RQ3 在具有线性约束的问题中，所提出的随机化原始-对偶方法与随机化 ADMM 变体之间存在何种关系？
• RQ4 为何标准 ADMM 在块数超过两个时无法收敛？这一局限性能否通过随机化方法克服？
• RQ5 在最小假设下（如可行集无界或缺乏初始距离估计），收敛性在多大程度上可以得到保证？

主要发现

• 所提出的随机化原始-对偶算法在一般双线性鞍点问题中实现了 O(1/N) 的收敛速率。
• 对于光滑双线性鞍点问题，该方法实现了改进的 O(1/N²) 收敛速率。
• 该算法无需强凸性假设，也无需添加强凸扰动项。
• 即使原始或对偶可行集无界，方法仍保持收敛性。
• 该方法无需估计初始点到最优解集的距离。
• 当应用于线性约束问题时，随机化原始-对偶方法与随机化 ADMM 变体等价；而标准 ADMM 在块数超过两个时无法收敛。