[论文解读] UNLocBoX: A MATLAB convex optimization toolbox for proximal-splitting methods

Nathanaël Perraudin, Vassilis Kalofolias+2 more|arXiv (Cornell University)|Feb 4, 2014

Sparse and Compressive Sensing Techniques被引用 15

一句话总结

UNLocBoX 是一个基于 MATLAB 的凸优化工具箱，旨在使用向前分裂法求解大规模优化问题。它通过将复杂目标函数分解为更简单、可分离的项，并应用 FISTA、Douglas-Rachford 和 Chambolle-Pock 等先进求解器，实现高效且可扩展的解决方案，支持通过近端算子处理可微和不可微函数。

ABSTRACT

Convex optimization is an essential tool for machine learning, as many of its problems can be formulated as minimization problems of specific objective functions. While there is a large variety of algorithms available to solve convex problems, we can argue that it becomes more and more important to focus on efficient, scalable methods that can deal with big data. When the objective function can be written as a sum of "simple" terms, proximal splitting methods are a good choice. UNLocBoX is a MATLAB library that implements many of these methods, designed to solve convex optimization problems of the form $\min_{x \in \mathbb{R}^N} \sum_{n=1}^K f_n(x).$ It contains the most recent solvers such as FISTA, Douglas-Rachford, SDMM as well a primal dual techniques such as Chambolle-Pock and forward-backward-forward. It also includes an extensive list of common proximal operators that can be combined, allowing for a quick implementation of a large variety of convex problems.

研究动机与目标

• 为机器学习中出现的大规模凸优化问题提供一个用户友好、可扩展的 MATLAB 工具箱。
• 支持利用由简单函数之和构成的目标函数结构的近端分裂法。
• 使初学者和专家用户能够高效地实现和实验各种优化算法。
• 通过利用问题特定的分解和近端算子，提升性能和可扩展性，超越通用求解器。

提出的方法

• 将优化问题表述为最小化 K 个凸函数之和的形式：$\min_{x\in\mathbb{R}^{N}}\sum_{n=1}^{K}f_{n}(x)$。
• 实现了多种近端分裂求解器，包括 FISTA、Douglas-Rachford、SDMM、Chambolle-Pock 和前向-后向方法。
• 提供了一个全面的内置近端算子库，涵盖常见函数（如 L2、L1、核范数、指示函数等）。
• 通过允许用户显式定义梯度或近端算子，支持可微和不可微函数。
• 采用模块化设计，用户通过定义评估、梯度和近端算子字段来描述函数，从而实现灵活的问题建模。
• 包含一个通用求解器 `solvep`，可根据问题结构和函数属性自动选择最合适的算法。

实验结果

研究问题

• RQ1 如何在 MATLAB 等高级语言中高效且可扩展地实现近端分裂法，以解决大规模机器学习问题？
• RQ2 对于复合凸优化问题，算法选择（如 Douglas-Rachford 与前向-后向法）对收敛速度和解的质量有何影响？
• RQ3 如何设计一个模块化、可扩展的工具箱，以同时支持凸优化领域的初学者和高级研究人员？
• RQ4 通过近端算子进行问题分解，在可扩展性和性能方面相较于通用求解器能提升多少？

主要发现

• UNLocBoX 通过利用目标函数的可分离结构并采用近端分裂法，实现了对大规模凸优化问题的高效求解。
• 该工具箱支持多种求解器，包括 FISTA、Douglas-Rachford 和 Chambolle-Pock，且可通过 `solvep` 实现自动求解器选择。
• 常见函数（如 L2、L1、指示函数等）的近端算子已预先实现，支持快速构建复杂模型的原型。
• 前向-后向法和 Douglas-Rachford 法对同一问题收敛至相同解（数值误差范围内），尽管收敛速度可能不同。
• 通过使用近端算子和函数分解，可实现较低的每次迭代复杂度，使该工具箱适用于变量数量庞大的问题。
• 该工具箱设计具有可扩展性和易用性，配备全面的文档，并支持通过 `eval`、`grad` 和 `prox` 字段自定义函数定义。