[论文解读] Proximal Alternating Penalty Algorithms for Constrained Convex Optimization

Quoc Tran-Dinh|arXiv (Cornell University)|Nov 4, 2017

Sparse and Compressive Sensing Techniques参考文献 44被引用 8

一句话总结

本文提出了两种新颖的近端交替惩罚算法，用于求解非光滑约束凸优化问题。通过结合二次惩罚、交替最小化、Nesterov加速以及自适应参数调节，该方法在一般问题下实现了最优的 $Ó(1/k)$ 收敛速率，在半强凸情况下实现了 $Ó(1/k^2)$ 的收敛速率，且无需依赖Lipschitz梯度连续性或强凸性假设。

ABSTRACT

We develop two new proximal alternating penalty algorithms to solve a wide range class of constrained convex optimization problems. Our approach mainly relies on a novel combination of the classical quadratic penalty, alternating minimization, Nesterov's acceleration, and adaptive strategy for parameters. The first algorithm is designed to solve generic and possibly nonsmooth constrained convex problems without requiring any Lipschitz gradient continuity or strong convexity, while achieving the best-known $O(\frac{1}{k})$-convergence rate in a non-ergodic sense, where $k$ is the iteration counter. The second algorithm is also designed to solve non-strongly convex, but semi-strongly convex problems. This algorithm can achieve the best-known $O(\frac{1}{k^2})$-convergence rate on the primal constrained problem. Such a rate is obtained in two cases: (i)~averaging only on the iterate sequence of the strongly convex term, or (ii) using two proximal operators of this term without averaging. In both algorithms, we allow one to linearize the second subproblem to use the proximal operator of the corresponding objective term. Then, we customize our methods to solve different convex problems, and lead to new variants. As a byproduct, these algorithms preserve the same convergence guarantees as in our main algorithms. We verify our theoretical development via different numerical examples and compare our methods with some existing state-of-the-art algorithms.

研究动机与目标

• 解决机器学习、信号处理和控制系统中出现的大规模、非光滑、约束凸优化问题的挑战。
• 克服内点法和序列二次规划等经典方法在高维、非光滑问题中效率低下的局限性。
• 开发无需依赖Lipschitz梯度连续性或强凸性的首阶算法，并具备可证明的收敛速率。
• 通过加速与自适应惩罚策略，分别在一般问题和半强凸问题中实现最优的收敛速率——$Ó(1/k)$ 与 $Ó(1/k^2)$。
• 在保持收敛保证的同时，通过近端算子实现子问题的线性化，提升实际可实施性。

提出的方法

• 将约束问题表述为带有耦合约束 $Ax + By - c \in \mathcal{K}$ 的复合优化问题，其中 $f(x)$ 和 $g(y)$ 为非光滑、凸函数。
• 应用二次惩罚方法对约束进行对偶化，将问题转化为带惩罚的增广Lagrangian形式。
• 引入交替最小化方案，解耦 $x$ 和 $y$ 的更新，通过近端算子顺序求解子问题。
• 引入Nesterov加速技术以提升收敛速率，尤其在半强凸问题中实现 $Ó(1/k^2)$ 的收敛速度。
• 采用自适应参数更新策略调节惩罚参数 $\rho_k$ 和步长 $\tau_k$，消除手动调参的需要。
• 允许在子问题中对光滑部分 $h(y)$ 进行线性化，通过 $g$ 和 $h$ 的近端算子实现高效计算。

实验结果

研究问题

• RQ1 是否能够设计一种近端交替惩罚方法，在不依赖Lipschitz梯度连续性的情况下，实现对一般非光滑、非强凸约束问题的 $Ó(1/k)$ 收敛速率？
• RQ2 是否可通过加速与自适应参数策略，使该方法在半强凸问题中实现 $Ó(1/k^2)$ 的收敛速率？
• RQ3 如何自适应地更新惩罚参数与步长参数，以确保收敛而无需人工调参？
• RQ4 该算法能否在允许子问题中光滑分量线性化的同时保持收敛保证？
• RQ5 在何种理论条件下，可通过迭代序列的平均化或不使用平均化而采用两个近端算子的方式，实现 $Ó(1/k^2)$ 的收敛速率？

主要发现

• 第一个算法在不依赖Lipschitz梯度连续性或强凸性的前提下，对一般、可能非光滑的约束凸问题实现了 $Ó(1/k)$ 的非遍历收敛速率。
• 第二个算法在满足以下两个条件时，对半强凸问题实现了最优的 $Ó(1/k^2)$ 收敛速率：(i) 仅对强凸项的迭代序列进行平均；或 (ii) 在不进行平均的情况下使用强凸项的两个近端算子。
• 即使在子问题中对光滑部分进行线性化，收敛保证依然成立，从而支持高效实现。
• 对 $\rho_k$、$\tau_k$ 和 $\gamma_k$ 的自适应参数更新策略确保了收敛性而无需人工调参，显著提升了实际可用性。
• 理论分析表明，当 $\rho_0 \leq \frac{\mu_g + 2\mu_h - L_h}{2\|B\|^2} > 0$ 时，可实现 $Ó(1/k^2)$ 的收敛速率，该条件将参数选择与问题结构相联系。
• 数值实验验证了理论结果，并表明该方法在多种凸优化问题上相较于当前最先进的首阶方法表现出更优性能。