[论文解读] Randomized Primal-Dual Proximal Block Coordinate Updates

Xiang Gao, Yangyang Xu+1 more|arXiv (Cornell University)|May 19, 2016

Sparse and Compressive Sensing Techniques参考文献 15被引用 15

一句话总结

本文提出了一种随机化原始-对偶块坐标更新（RPDBU）方法，用于求解具有线性约束和耦合目标的多块凸优化问题。通过引入随机块选择和邻近项，该方法在仅假设凸性的情况下，建立了期望收敛率为 O(1/t)，恢复并强化了 ADMM、PD-S 和 Prox-JADMM 的现有结果，且无需有界性或强凸性假设。

ABSTRACT

In this paper we propose a randomized primal-dual proximal block coordinate updating framework for a general multi-block convex optimization model with coupled objective function and linear constraints. Assuming mere convexity, we establish its $O(1/t)$ convergence rate in terms of the objective value and feasibility measure. The framework includes several existing algorithms as special cases such as a primal-dual method for bilinear saddle-point problems (PD-S), the proximal Jacobian ADMM (Prox-JADMM) and a randomized variant of the ADMM method for multi-block convex optimization. Our analysis recovers and/or strengthens the convergence properties of several existing algorithms. For example, for PD-S our result leads to the same order of convergence rate without the previously assumed boundedness condition on the constraint sets, and for Prox-JADMM the new result provides convergence rate in terms of the objective value and the feasibility violation. It is well known that the original ADMM may fail to converge when the number of blocks exceeds two. Our result shows that if an appropriate randomization procedure is invoked to select the updating blocks, then a sublinear rate of convergence in expectation can be guaranteed for multi-block ADMM, without assuming any strong convexity. The new approach is also extended to solve problems where only a stochastic approximation of the (sub-)gradient of the objective is available, and we establish an $O(1/\sqrt{t})$ convergence rate of the extended approach for solving stochastic programming.

研究动机与目标

• 开发一种统一框架，用于求解具有线性约束和耦合目标的多块凸优化问题。
• 在不假设强凸性或有界约束集的前提下，为原始-对偶设置中的随机块坐标更新建立收敛性保证。
• 将该框架扩展到仅能获得噪声（次）梯度的随机设置中。
• 通过去除限制性假设，恢复并强化现有算法（如 Prox-JADMM 和 PD-S）的收敛结果。
• 为随机化多块 ADMM 提供理论基础，证明在一般凸性假设下，其期望收敛速度为次线性。

提出的方法

• 提出一种随机化原始-对偶块坐标更新（RPDBU）算法，每轮迭代中均匀随机选择块进行更新。
• 使用邻近梯度映射更新选定块，同时固定其他块，并采用自适应邻近项以确保收敛性。
• 采用随机化块选择策略，避免在超过两个块时，确定性多块 ADMM 出现发散的问题。
• 通过步长为 η 的梯度步长更新对偶变量，确保对偶可行性与目标函数进展。
• 通过使用随机（次）梯度估计器并自适应调整邻近参数 αₖ，将方法扩展至随机设置。
• 通过分析李雅普诺夫函数下目标间隙与可行性违反的期望下降，推导收敛速率。

实验结果

研究问题

• RQ1 在仅假设凸性、不依赖强凸性或有界性的情况下，随机化块坐标更新方案能否保证多块凸优化的 O(1/t) 收敛率？
• RQ2 所提出的 RPDBU 方法是否能恢复或改进现有算法（如 Prox-JADMM 和 PD-S）的收敛速率？
• RQ3 随机化方法能否稳定多块 ADMM？因为已知其在确定性设置下超过两个块时会发散。
• RQ4 当仅能获得噪声（次）梯度时，RPDBU 方法的收敛速率是多少？
• RQ5 是否存在一种确定性变体的 RPDBU，其仍保持类似的收敛性质？还是随机化在多块情况下对收敛至关重要？

主要发现

• 在仅假设凸性、无需有界约束集或强凸性的情况下，RPDBU 方法在期望下实现了目标值和可行性度量的 O(1/t) 收敛率。
• 对于原始-对偶鞍点问题（PD-S），该方法在无需先前要求的约束集有界性条件下，实现了相同的 O(1/t) 收敛率。
• 对于 Prox-JADMM，该分析在目标值和可行性违反两方面均给出了新的收敛速率，优于先前结果。
• 已知在确定性设置下会发散的随机化多块 ADMM，在采用随机块选择时，被证明在期望下以 O(1/t) 速率收敛。
• 在仅能获得噪声（次）梯度的随机设置中，扩展后的 RPDBU 方法通过自适应选择邻近参数 αₖ，实现了 O(1/√t) 的收敛速率。
• 该方法统一并推广了若干现有算法：当所有块以特定邻近项同时更新时，其退化为 Prox-JADMM；当不存在耦合函数 f 时，其退化为 ADMM 的随机变体。