[论文解读] The primal-dual hybrid gradient method reduces to a primal method for linearly constrained optimization problems

Yura Malitsky|arXiv (Cornell University)|Jun 8, 2017

Sparse and Compressive Sensing Techniques参考文献 26被引用 5

一句话总结

该论文表明，对于线性约束凸优化问题，原始-对偶混合梯度（PDHG）方法可被重新表述为纯粹的原始算法，从而无需使用对偶变量。其主要贡献在于提出了一种新的收敛性分析，即使在退化情形（如不可行问题或强对偶性不成立）下，也能建立原始迭代序列的 $O(1/k^2)$ 收敛速率，同时实现仅需每轮一次通信的更高效分布式优化。

ABSTRACT

In this work, we show that for linearly constrained optimization problems the primal-dual hybrid gradient algorithm, analyzed by Chambolle and Pock [3], can be written as an entirely primal algorithm. This allows us to prove convergence of the iterates even in the degenerate cases when the linear system is inconsistent or when the strong duality does not hold. We also obtain new convergence rates which seem to improve existing ones in the literature. For a decentralized distributed optimization we show that the new scheme is much more efficient than the original one.

研究动机与目标

• 解决标准分析失效的退化情形下PDHG方法的收敛行为，例如不可行问题或不存在鞍点的情形。
• 通过消除对偶变量，将PDHG算法重新表述为纯粹的原始方法，简化实现并降低内存占用。
• 在比以往更广泛的前提下，建立改进的收敛速率，特别是针对原始迭代序列实现 $O(1/k^2)$ 的收敛速率。
• 通过将每轮通信次数减少至一次，实现更高效的去中心化分布式优化，优于原始PDHG方法。
• 通过简化算法结构，为未来扩展（如坐标更新变体）奠定基础。

提出的方法

• 通过消除对偶变量 $y^k$，将PDHG算法（3）重新表述为仅依赖原始迭代序列 $x^k$ 的纯粹原始方法。
• 采用基于李雅普诺夫函数与能量衰减论证的新型分析框架，推导收敛速率，且无需假设鞍点的存在。
• 引入一组满足递推关系的参数 $ しょう_k$、$ tau_k$ 和 $ Sigma_k$，以保证收敛性与速率估计。
• 应用余弦定理与近端不等式，推导出有界原始解距离与目标函数间隙的递推不等式。
• 通过证明原始迭代序列 $x^k$ 即使在问题不可行或强对偶性不成立时仍收敛至解，从而建立收敛性。
• 证明新提出的仅原始变量方案在强凸性条件下，目标函数间隙 $f(x^k) - f_*$ 达到 $O(1/k^2)$ 的收敛速率；在强对偶性成立时，收敛速率可达 $O(1/k^4)$。

实验结果

研究问题

• RQ1 当线性约束优化问题不可行时，PDHG迭代序列会发生什么？
• RQ2 当关联的鞍点问题中不存在鞍点时，PDHG迭代序列会发生什么？
• RQ3 PDHG算法能否被重新表述为完全独立于对偶变量的原始方法？
• RQ4 在标准分析失效的退化情形下，能否为PDHG建立更优的收敛速率？
• RQ5 与原始PDHG相比，新提出的仅原始变量方案在去中心化分布式优化中的表现如何？

主要发现

• PDHG方法在处理线性约束问题时，可被完全重述为仅使用原始变量的算法，消除了对对偶变量的需求，从而简化了实现。
• 新提出的原始方案即使在问题不可行或强对偶性不成立时，仍能收敛至解，显著扩展了PDHG在标准假设之外的应用范围。
• 在强凸性条件下，原始迭代序列的收敛速率达到 $O(1/k^2)$，优于标准的 $O(1/k)$ 的递推平均速率。
• 当强对偶性成立时，目标函数间隙 $f(x^k) - f_*$ 的收敛速率可达 $O(1/k^4)$，远快于现有结果。
• 即使在不满足强对偶性的情况下，新方案仍能实现原始迭代序列的 $O(1/k^2)$ 收敛速率，且满足 $|g(x^k) - g_*| = O(1/k^2)$。
• 在去中心化分布式优化中，新方案每轮仅需一次通信，显著优于原始PDHG方法。