[论文解读] Preconditioning of a Generalized Forward-Backward Splitting and Application to Optimization on Graphs

Hugo Raguet, Landrieu Loïc|arXiv (Cornell University)|Apr 28, 2015

Sparse and Compressive Sensing Techniques被引用 5

一句话总结

本文提出了一种预条件广义前向-后向分裂算法，用于求解图结构上的大规模非光滑凸优化问题。通过调整底层度量，该方法加速了收敛速度并降低了计算与存储成本，从而仅通过梯度和近端算子的评估即可高效最小化包含光滑与非光滑项的复合目标函数。

ABSTRACT

We present a preconditioning of a generalized forward-backward splitting algorithm for finding a zero of a sum of maximally monotone operators $\\sum_{i=1}^{n} A_i + B$ with $B$ cocoercive, involving only the computation of $B$ and of the resolvent of each $A_i$ separately. This allows in particular to minimize functionals of the form $\\sum_{i=1}^n g_i + f$ with $f$ smooth, using only the computation of the gradient of $f$ and of the proximity operator of each $g_i$ separately. By adapting the underlying metric, such preconditioning can serve two practical purposes: first, it might accelerate the convergence, or second, it might simplify the computation of the resolvent of $A_i$ for some $i$. In addition, in many cases of interest, our preconditioning strategy allows the economy of storage and computation concerning some auxiliary variables. In particular, we show how this approach can handle large-scale, nonsmooth, convex optimization problems structured on graphs, which arises in many image processing or learning applications, and that it compares favorably to alternatives in the literature.

研究动机与目标

• 为解决在图像处理和机器学习中常见的图结构化大规模、非光滑、凸优化问题提供支持。
• 改进单调算子包含问题中前向-后向分裂算法的收敛速度并降低计算开销。
• 通过度量预条件实现各算子的解耦合计算，从而实现高效计算。
• 在分布式或大规模环境下简化实现过程并减少辅助变量的存储需求。

提出的方法

• 该方法采用广义前向-后向分裂框架，用于寻找极大单调算子之和 $\sum_{i=1}^{n} A_i + B$ 的零点，其中 $B$ 为共强制算子。
• 提出一种预条件策略，通过修改底层希尔伯特空间的度量以改善问题的条件性。
• 算法仅计算每个 $A_i$ 的解耦合算子与 $B$ 的评估值，避免了复杂联合算子的计算。
• 预条件策略使得每个 $A_i$ 的解耦合算子可独立处理，从而支持并行或分布式计算。
• 该方法应用于形如 $\sum_{i=1}^n g_i + f$ 的泛函，其中 $f$ 为光滑函数，仅需 $f$ 的梯度与 $g_i$ 的近端算子。
• 通过利用局部算子分解与度量适配，将该方法应用于图结构化问题，以减轻计算负担。

实验结果

研究问题

• RQ1 预条件是否能改善单调算子包含问题中广义前向-后向分裂的收敛速度？
• RQ2 度量适配在分解中如何简化单个算子解耦合算子的计算？
• RQ3 在大规模图结构化优化中，该方法在多大程度上可降低存储与计算成本？
• RQ4 在图基问题上，预条件算法是否在收敛速度与可扩展性方面优于现有方法？
• RQ5 该方法能否在分布式或稀疏环境下高效处理同时包含光滑与非光滑项的复合目标函数？

主要发现

• 预条件算法相比标准前向-后向分裂算法具有更快的收敛速度，尤其在病态问题中表现更优。
• 通过解耦合各算子的解耦合算子计算，该方法显著降低了存储与计算需求。
• 该方法能够高效处理大规模图结构化优化问题，如图像处理与机器学习中出现的问题。
• 该算法在与标准广义前向-后向方法相同的假设下保持收敛性保证，但实际性能更优。
• 实验结果表明，与文献中现有方法相比，该方法在可扩展性与结构化问题上的鲁棒性方面表现优异。