[论文解读] Nonconvex and Nonsmooth Sparse Optimization via Adaptively Iterative Reweighted Methods

Hao Wang, Fan Zhang+2 more|arXiv (Cornell University)|Oct 24, 2018

Sparse and Compressive Sensing Techniques参考文献 48被引用 13

一句话总结

本文提出了一种通用的自适应迭代重加权算法框架，用于求解具有凸集约束的非凸与非光滑稀疏优化问题。通过求解一系列权重动态更新的加权凸子问题，该方法在宽松假设下实现了全局收敛，并在稀疏信号恢复与图像重建任务中表现出强劲性能。

ABSTRACT

We propose a general formulation of nonconvex and nonsmooth sparse optimization problems with convex set constraint, which can take into account most existing types of nonconvex sparsity-inducing terms, bringing strong applicability to a wide range of applications. We design a general algorithmic framework of iteratively reweighted algorithms for solving the proposed nonconvex and nonsmooth sparse optimization problems, which solves a sequence of weighted convex regularization problems with adaptively updated weights. First-order optimality condition is derived and global convergence results are provided under loose assumptions, making our theoretical results a practical tool for analyzing a family of various reweighted algorithms. The effectiveness and efficiency of our proposed formulation and the algorithms are demonstrated in numerical experiments on various sparse optimization problems.

研究动机与目标

• 解决具有通用凸集约束的非凸与非光滑稀疏优化问题所面临的计算挑战。
• 开发一种统一的算法框架，适用于标准 ℓp 范数以外的多种稀疏性诱导项。
• 在弱假设下建立全局收敛性保证，从而支持对多种重加权算法的理论分析。
• 通过消除对必须趋于零的松弛参数的依赖，提升现有方法的效率与鲁棒性。
• 通过在稀疏信号与图像恢复任务上的广泛数值实验，证明所提框架的有效性。

提出的方法

• 提出一种具有凸集约束的非凸与非光滑稀疏优化问题的通用公式，可容纳多种稀疏性诱导项。
• 设计一种自适应迭代重加权算法，通过求解一系列权重动态更新的加权凸子问题，其中权重根据当前迭代值自适应调整。
• 推导出非凸与非光滑问题的一阶最优性条件，从而支持严格的收敛性分析。
• 在弱假设下（包括强制性与下确界连续性）建立全局收敛至临界点的理论保证，无需要求Lipschitz连续性。
• 实现两种变体：基于 ℓ1 的算法（非光滑子问题）与基于 ℓ2 的算法（光滑子问题），两者均采用自适应权重更新策略。
• 利用Moreau包络逼近与NPG_major方法高效求解子问题，特别利用 p=1/2 或 2/3 时 ℓp 范数的解析邻近算子。

实验结果

研究问题

• RQ1 能否为非凸与非光滑稀疏优化开发一种统一的算法框架，以处理多种稀疏性诱导项？
• RQ2 在何种条件下，自适应迭代重加权方法能对非Lipschitz、非凸与非光滑问题实现全局收敛至临界点？
• RQ3 与现有重加权方法相比，所提框架在收敛速度与解质量方面表现如何？
• RQ4 该框架能否扩展至处理一般凸集约束，同时保持理论收敛保证？
• RQ5 自适应权重更新策略对降低对松弛参数的敏感性并提升鲁棒性有何影响？

主要发现

• 所提自适应迭代重加权框架在弱假设下（仅需下确界连续性与强制性）可实现全局收敛至临界点。
• 基于 ℓ1 的算法变体收敛速度优于基于 ℓ2 的变体，由于 ℓ1 正则化具有更强的稀疏促进特性，显著减少了迭代次数。
• 在稀疏信号恢复与图像重建任务中的数值实验表明，该方法在恢复精度与收敛速度方面均表现出优越性能。
• 该方法在不依赖必须趋于零的松弛参数的前提下，有效处理了非Lipschitz的非凸稀疏性诱导项。
• 该算法在不同问题实例中（包括高维与病态条件数据）均保持了鲁棒性与高效性。
• 通过采用Moreau包络逼近与NPG_major方法实现子问题的高效求解，尤其得益于 p=1/2 与 p=2/3 时的解析邻近算子。