[论文解读] On a Class of First-order Primal-Dual Algorithms for Composite Convex Minimization Problems

Seyoon Ko, Donghyeon Yu+1 more|arXiv (Cornell University)|Feb 21, 2017

Sparse and Compressive Sensing Techniques被引用 1

一句话总结

本文提出了一类统一的原始-对偶一阶算法，用于求解复合凸优化问题，利用单调算子理论实现高效、可扩展且分布式的计算。该框架在连续的算法族中实现了最优收敛速率，具备理论保证，并在包含最多120万个变量的问题上得到实证验证。

ABSTRACT

Many statistical learning problems can be posed as minimization of a sum of two convex functions, one typically a composition of non-smooth and linear functions. Examples include regression under structured sparsity assumptions. Popular algorithms for solving such problems, e.g., ADMM, often involve non-trivial optimization subproblems or smoothing approximation. We consider two classes of primal-dual algorithms that do not incur these difficulties, and unify them from a perspective of monotone operator theory. From this unification we propose a continuum of preconditioned forward-backward operator splitting algorithms amenable to parallel and distributed computing. For the entire region of convergence of the whole continuum of algorithms, we establish its rates of convergence. For some known instances of this continuum, our analysis closes the gap in theory. We further exploit the unification to propose a continuum of accelerated algorithms. We show that the whole continuum attains the theoretically optimal rate of convergence. The scalability of the proposed algorithms, as well as their convergence behavior, is demonstrated up to 1.2 million variables with a distributed implementation.

研究动机与目标

• 解决现有算法（如ADMM）在复合凸最小化中需要求解非平凡子问题或使用平滑近似方法的局限性。
• 通过单调算子理论统一两类原始-对偶算法，从而构建更广泛且系统化的算法框架。
• 开发一系列适用于并行和分布式计算环境的预条件前向-后向分裂算法。
• 为所提出的算法族在整个收敛区域建立收敛速率。
• 设计框架的加速变体，以实现理论上最优的收敛速率。

提出的方法

• 利用单调算子理论，将复合凸最小化问题表述为单调包含问题。
• 通过将两种现有类别的原始-对偶算法表示为单一算子分裂框架的实例，实现其统一。
• 通过参数化算子分裂步骤，引入一系列预条件前向-后向分裂算法。
• 基于单调算子理论的理论分析，推导出整个连续算法族的收敛速率。
• 通过在算法框架中引入Nesterov风格的动量，构建加速变体。
• 在分布式环境中实现算法，以评估其在大规模问题上的可扩展性。

实验结果

研究问题

• RQ1 能否构建一个统一的理论框架，涵盖多种用于复合凸最小化的原始-对偶算法？
• RQ2 从该统一框架导出的整个算法族的收敛特性是什么？
• RQ3 所提出的框架能否在所有实例中实现最优收敛速率？
• RQ4 在分布式和大规模设置下，所提出算法的可扩展性表现如何？
• RQ5 能否系统性地将加速机制集成到框架中，以实现目前已知的最佳理论收敛速率？

主要发现

• 所提出的框架通过单调算子理论统一了两类原始-对偶算法，提供了连贯的理论基础。
• 整个算法族均实现了收敛且具备已确立的收敛速率，填补了已知实例的理论空白。
• 框架的加速变体在光滑问题中实现了理论上最优的收敛速率O(1/k²)。
• 算法具备可扩展性，在分布式环境中对包含最多120万个变量的问题表现出高效性能。
• 该框架实现了高效、并行和分布式计算，无需求解子问题或使用平滑近似方法。