[论文解读] Sparsity Constrained Nonlinear Optimization: Optimality Conditions and Algorithms

Amir Beck, Yonina C. Eldar|arXiv (Cornell University)|Mar 20, 2012

Sparse and Compressive Sensing Techniques参考文献 20被引用 14

一句话总结

该论文提出了最优性条件及三种算法——迭代硬阈值法、贪婪法和部分稀疏单纯形法——用于求解一般稀疏约束非线性优化问题，其中目标函数连续可微，且约束限制非零分量的数量。主要贡献在于证明了即使在目标函数非凸且稀疏约束为非凸、不连续的情况下，这些算法仍能收敛至满足新型平稳性条件的点。

ABSTRACT

This paper treats the problem of minimizing a general continuously differentiable function subject to sparsity constraints. We present and analyze several different optimality criteria which are based on the notions of stationarity and coordinate-wise optimality. These conditions are then used to derive three numerical algorithms aimed at finding points satisfying the resulting optimality criteria: the iterative hard thresholding method and the greedy and partial sparse-simplex methods. The first algorithm is essentially a gradient projection method while the remaining two algorithms are of coordinate descent type. The theoretical convergence of these methods and their relations to the derived optimality conditions are studied. The algorithms and results are illustrated by several numerical examples.

研究动机与目标

• 推导在卡迪纳尔约束（即稀疏约束）下最小化连续可微函数的必要最优性条件。
• 设计并分析收敛至满足这些最优性条件的点的数值算法，适用于一般非凸目标函数。
• 将现有方法（如迭代硬阈值法）从压缩感知推广至一般非线性问题。
• 在较弱光滑性假设下，建立所提算法的理论收敛性。

提出的方法

• 基于非凸稀疏约束问题的平稳性与坐标最优性，推导出三种不同的最优性条件。
• 提出迭代硬阈值法作为一种梯度投影型算法，步长为1，适用于一般光滑目标函数。
• 引入一种贪婪方法，通过依次更新最有利的坐标来改进目标函数，同时保持稀疏性。
• 提出部分稀疏单纯形法，作为一种坐标下降算法，在每一步中对一组坐标进行优化。
• 利用梯度的Lipschitz连续性（L2(f)）推导下降保证与收敛速率。
• 证明生成序列收敛至满足L2(f)-平稳性的点，该定义基于相对于支持集的梯度模长有界。

实验结果

研究问题

• RQ1 对于具有连续可微目标函数的一般非凸稀疏约束优化问题，其必要最优性条件是什么？
• RQ2 如何将迭代硬阈值法从二次目标函数推广至任意光滑函数？
• RQ3 在非凸稀疏约束背景下，对坐标下降类方法可建立何种收敛保证？
• RQ4 所提算法与压缩感知中现有方法（如匹配追踪或迭代硬阈值法）有何关联？
• RQ5 在何种条件下，算法生成的序列收敛至平稳点？

主要发现

• 当目标函数具有Lipschitz连续梯度时，迭代硬阈值法收敛至L2(f)-平稳点。
• 贪婪法与部分稀疏单纯形法同样收敛至L2(f)-平稳点，其收敛性通过下降不等式与梯度模长有界性得到证明。
• 最优性条件定义为：对于点x*，在支持集I1(x*)上的梯度分量必须为零，而在零集I0(x*)上的梯度分量必须满足|∇if(x*)| ≤ L2(f)M_s(x*)，其中M_s(x*)为非零分量的最大模长。
• 即使稀疏度未固定，也可通过分析序列的聚点来证明收敛性。
• 在一般光滑性假设下，算法被证明收敛至平稳点，且无需目标函数为凸。
• 数值实验表明，这些算法在求解非凸稀疏约束问题（包括相位恢复与二次测量模型）方面具有有效性。