[论文解读] Projective Splitting with Forward Steps: Asynchronous and Block-Iterative Operator Splitting

Patrick R. Johnstone, Jonathan Eckstein|arXiv (Cornell University)|Mar 19, 2018

Sparse and Compressive Sensing Techniques参考文献 42被引用 14

一句话总结

本文提出了一种用于求解单调包含问题的新型前向步进变体项目分裂框架，支持异步和块迭代算法，使用前向步进处理利普希茨连续算子，而非传统后向步进。与现有方法相比，该方法在大规模稀有特征选择问题上表现出更优的性能和更简单的实现。

ABSTRACT

This work is concerned with the classical problem of finding a zero of a sum of maximal monotone operators. For the projective splitting framework recently proposed by Combettes and Eckstein, we show how to replace the fundamental subproblem calculation using a backward step with one based on two forward steps. The resulting algorithms have the same kind of coordination procedure and can be implemented in the same block-iterative and highly flexible manner, but may perform backward steps on some operators and forward steps on others. Prior algorithms in the projective splitting family have used only backward steps. Forward steps can be used for any Lipschitz-continuous operators provided the stepsize is bounded by the inverse of the Lipschitz constant. If the Lipschitz constant is unknown, a simple backtracking linesearch procedure may be used. For affine operators, the stepsize can be chosen adaptively without knowledge of the Lipschitz constant and without any additional forward steps. We close the paper by empirically studying the performance of several kinds of splitting algorithms on a large-scale rare feature selection problem.

研究动机与目标

• 解决现有项目分裂方法仅依赖后向（近似）步进的局限性，后者计算成本较高。
• 在项目分裂框架内，使前向步进——计算成本更低——可用于利普希茨连续算子。
• 开发一种灵活、异步且块迭代的算法，在保持收敛性保证的同时提升实际效率。
• 为未知利普希茨常数提供回溯线搜索过程，并为仿射算子提供自适应步长选择。
• 在真实世界数据的大规模稀有特征选择问题上，展示新方法的实际优越性。

提出的方法

• 将项目分裂中标准的后向步进替换为针对利普希茨连续算子的两步前向步进过程，类似于Tseng的前向-后向-前向方法。
• 对集合 $ \mathcal{I}_F $ 中的每个 $ T_i $ 使用前向步进算子 $ I - \rho T_i $，其中 $ \rho $ 受利普希茨常数倒数的限制。
• 实施回溯线搜索以在利普希茨常数未知时确定 $ \rho $，确保收敛性。
• 对于仿射算子，允许自适应步长选择，无需额外前向步进或利普希茨常数知识。
• 将新的前向步进机制整合到现有项目分裂框架中，保持其块迭代和异步能力。
• 将该方法应用于使用真实TripAdvisor评论数据的大规模稀有特征选择问题，比较多种变体的性能。

实验结果

研究问题

• RQ1 能否有效将前向步进集成到项目分裂框架中，以替代利普希茨连续算子的后向步进？
• RQ2 在大规模问题上，新前向步进方法与Tseng方法和外梯度法等现有算子分裂算法相比，性能如何？
• RQ3 块迭代和贪婪选择策略对收敛速度和实际效率有何影响？
• RQ4 该方法能否在未知利普希茨常数的情况下实现收敛？回溯线搜索过程的有效性如何？
• RQ5 在实际中，前向步进方法的实现复杂度与近似后向步进变体相比如何？

主要发现

• 所提出的前向步进方法，命名为 psf-g（带前向步进的项目分裂，贪婪策略），在所有测试的稀有特征选择问题实例中均实现了最快收敛。
• psf-g 在壁钟时间上优于 psf-r（随机）、psf-c（循环）和 psf-1（全块），证明了贪婪、块迭代选择的优势。
• psb-g（使用近似后向步进）在 $ \lambda = 10^{-6} $ 时与 psf-g 几乎同样快，但在 $ \lambda = 10^{-8} $ 和 $ \lambda = 10^{-4} $ 时显著更慢，表明其对调参和子问题求解质量敏感。
• psf-g 方法比 psb-g 更易于实现，因其在每次迭代中避免求解非线性子问题，从而降低了实现复杂度和参数调优需求。
• 结合回溯线搜索的前向步进方法成功处理了未知利普希茨常数的情况，实现了无需先验知识的稳健性能。
• 现有方法如 tseng-pd、frb-pd 和 cp-bt 均被 psf-g 和 psb-g 超越，表明其在该类问题上竞争力有限。