[论文解读] Smoothing technique for nonsmooth composite minimization with linear operator

Quang Van Nguyen, Olivier Fercoq+1 more|arXiv (Cornell University)|Jun 19, 2017

Sparse and Compressive Sensing Techniques参考文献 14被引用 5

一句话总结

本文提出 ASGARD，一种基于平滑化的加速算法，用于处理带有线性算子的非光滑复合凸优化问题。通过结合同伦平滑、线搜索和梯度复用技术，该方法在 TV 正则化回归和量子性质预测等大规模问题上实现了优越的收敛速率与实际性能，优于 FISTA 和 Vu-Condat 方法在关键基准测试中的表现。

ABSTRACT

We introduce and analyze an algorithm for the minimization of convex functions that are the sum of differentiable terms and proximable terms composed with linear operators. The method builds upon the recently developed smoothed gap technique. In addition to a precise convergence rate result, valid even in the presence of linear inclusion constraints, this new method allows an explicit treatment of the gradient of differentiable functions and can be enhanced with line-search. We also study the consequences of restarting the acceleration of the algorithm at a given frequency. These new features are not classical for primal-dual methods and allow us to solve difficult large-scale convex optimization problems. We numerically illustrate the superior performance of the algorithm on basis pursuit, TV-regularized least squares regression and L1 regression problems against the state-of-the-art.

研究动机与目标

• 解决涉及非光滑项与线性算子组合的大规模凸优化问题的挑战。
• 克服现有原始-对偶方法与前向-后向方法在处理带有线性算子的复合项及不可行性控制方面的局限性。
• 开发一种支持显式梯度计算、线搜索与重启策略的方法，以提升收敛性与实际效率。
• 在一般条件下（包括线性包含约束）提供严格的收敛性保证。
• 在真实世界问题（如功能性磁共振成像重建与量子性质预测）中展示优越性能。

提出的方法

• 提出一种基于同伦的平滑框架，逐步减小平滑参数以逼近非光滑函数 h。
• 应用加速的前向-后向算法来最小化平滑后的复合目标函数，利用平滑项梯度的利普希茨连续性。
• 引入线搜索策略以自适应选择步长，提升收敛性，且无需事先知晓平滑性参数。
• 通过复用旧梯度降低每轮迭代的计算成本，尤其在梯度计算代价较高时优势显著。
• 在固定周期内引入重启机制，以提升收敛速度与鲁棒性，尤其在病态条件设置下表现更优。
• 将该方法整合进原始-对偶框架中，通过 Fenchel-Rockafellar 对偶性处理约束，确保在弱假设下收敛。

实验结果

研究问题

• RQ1 基于自适应平滑参数的平滑化方法是否能在带有线性算子的非光滑复合问题上实现优于经典原始-对偶或前向-后向方法的收敛速率？
• RQ2 引入线搜索与梯度复用如何影响平滑化算法的实际性能与收敛速度？
• RQ3 所提方法是否能在保持理论收敛保证的同时，在真实世界应用中超越 FISTA 与 Vu-Condat 方法等最先进算法？
• RQ4 周期性重启对大规模问题中算法收敛行为与鲁棒性有何影响？
• RQ5 该方法在不牺牲收敛速率或稳定性的情况下，能在多大程度上处理不可行性与线性包含约束？

主要发现

• ASGARD 在原始-对偶间隙上实现了 O(1/k²) 的收敛速率，与光滑及复合设定下加速方法的最佳已知速率一致。
• 在功能性磁共振成像重建问题中，ASGARD 结合旧梯度与每 400 次迭代重启的策略，在单位时间内函数值减少量优于 FISTA 与 Vu-Condat 算法。
• 线搜索与梯度复用显著减少了每轮迭代的梯度评估次数，当梯度计算成本较高时可实现更快收敛。
• 在包含 7,211 个分子的量子性质预测数据集上，ASGARD 变体在高维数据下收敛速度优于 Vu-Condat 与 Combettes-Pesquet 算法。
• 该算法在函数值与不可行性方面均表现出有限时间收敛，这是在约束型非光滑优化中罕见的特性。
• 每 400 次迭代重启一次加速过程在所有测试问题中均取得最佳实际性能，表明周期性重启具有显著的实际优势。