[论文解读] Resolvent Splitting for Sums of Monotone Operators with Minimal Lifting

Yura Malitsky, Matthew K. Tam|arXiv (Cornell University)|Aug 6, 2021

Optimization and Variational Analysis参考文献 18被引用 4

一句话总结

本文解决了求解 $n \geq 2$ 个最大单调算子之和的节俭增益分裂算法中最小提升维度的开放问题。证明了最小提升维度为 $d^*(n) = n-1$，提出了一类新的此类算法，采用 $n-1$ 重提升，并将其应用于分布式优化与多块 ADMM，展示了收敛性与实际效用。

ABSTRACT

In this work, we study fixed point algorithms for finding a zero in the sum of $n\geq 2$ maximally monotone operators by using their resolvents. More precisely, we consider the class of such algorithms where each resolvent is evaluated only once per iteration. For any algorithm from this class, we show that the underlying fixed point operator is necessarily defined on a $d$-fold Cartesian product space with $d\geq n-1$. Further, we show that this bound is unimprovable by providing a family of examples for which $d=n-1$ is attained. This family includes the Douglas-Rachford algorithm as the special case when $n=2$. Applications of the new family of algorithms in distributed decentralised optimisation and multi-block extensions of the alternation direction method of multipliers (ADMM) are discussed.

研究动机与目标

• 解决求解 $n \geq 2$ 个最大单调算子之和的节俭增益分裂算法中最小提升维度 $d^*(n)$ 的开放问题。
• 利用受 Ryu（2022）启发的技术，建立此类算法的理论下界 $d^*(n) \geq n-1$。
• 构造一类新的节俭增益分裂算法，实现 $d^*(n) = n-1$，证明该下界为紧致且不可改进。
• 将新算法框架应用于分布式去中心化优化与多块 ADMM，实现无需中心协调器的新方案。
• 为所提方法在结构化优化设置下的收敛性分析与数值验证提供支持。

提出的方法

• 通过不动点算子分析与单调算子性质，推导出提升维度的理论下界，证明对 $n \geq 2$ 有 $d^*(n) \geq n-1$。
• 构建一类新的节俭增益分裂算法，其在 $(n-1)$ 重笛卡尔积空间 $\mathcal{H}^{n-1}$ 上运行，每轮迭代中每个增益算子仅被计算一次。
• 设计一种新颖的去中心化优化方案，通过新分裂框架避免中心协调器，仅依赖于本地增益算子计算。
• 基于新分裂方法，开发 ADMM 的多块扩展，其更新结构支持在 $n$ 个块之间分布式计算。
• 采用不动点迭代框架，算子定义在 $\mathcal{H}^{n-1}$ 上，更新操作包括向量加法、标量乘法及增益算子 $J_{A_i}$。
• 在标准假设下（包括最大单调性与问题可行性）证明新算法的收敛性。

实验结果

研究问题

• RQ1 求解 $n \geq 2$ 个最大单调算子之和的节俭增益分裂算法的最小提升维度 $d^*(n)$ 是多少？
• RQ2 理论下界 $d^*(n) \geq n-1$ 是否可实现？若可实现，是否存在一种构造性算法达到该界？
• RQ3 所提出的新一族 $n$ 算子增益分裂算法是否可应用于无需中心协调器的去中心化优化？
• RQ4 该框架是否可扩展为一种避免乘积空间重构的多块 ADMM 变体，并支持分布式计算？
• RQ5 与 PDHG 和两块 ADMM 等现有方法相比，新算法在收敛行为与迭代复杂度方面表现如何？

主要发现

• 证明了求解 $n \geq 2$ 个最大单调算子之和的节俭增益分裂的最小提升维度为 $d^*(n) = n-1$，解决了长期开放的问题。
• 通过不动点算子分析与算子单调性性质，建立了理论下界 $d^*(n) \geq n-1$。
• 构造了一类新的节俭增益分裂算法，实现 $n-1$ 重提升，证明该下界为紧致且不可改进。
• 新算法支持一种无需中心协调器的去中心化优化方案，仅依赖于本地增益算子计算。
• 提出了一种多块 ADMM 扩展，推广了两块方法，避免了标准的乘积空间重构，且已证明收敛性。
• 在矩阵分解问题上的数值实验表明，新多块 ADMM 在解的质量方面与现有方法（如 ASALM）相当，尽管每轮迭代的收敛速度可能较慢。