[论文解读] Sparse Approximation via Penalty Decomposition Methods

Zhaosong Lu, Yong Zhang|arXiv (Cornell University)|May 10, 2012

Sparse and Compressive Sensing Techniques参考文献 47被引用 12

一句话总结

该论文提出了一种惩罚分解（PD）方法，用于求解通用的 $l_0$ 最小化问题，采用块坐标下降（BCD）法求解一系列惩罚子问题。研究证明，迭代序列的任意聚点均满足一阶最优性条件；在凸性假设下，此类聚点为局部极小点——在压缩感知、稀疏逻辑回归和稀疏逆协方差选择任务中，该方法在解的质量和速度方面均优于现有方法。

ABSTRACT

In this paper we consider sparse approximation problems, that is, general $l_0$ minimization problems with the $l_0$-"norm" of a vector being a part of constraints or objective function. In particular, we first study the first-order optimality conditions for these problems. We then propose penalty decomposition (PD) methods for solving them in which a sequence of penalty subproblems are solved by a block coordinate descent (BCD) method. Under some suitable assumptions, we establish that any accumulation point of the sequence generated by the PD methods satisfies the first-order optimality conditions of the problems. Furthermore, for the problems in which the $l_0$ part is the only nonconvex part, we show that such an accumulation point is a local minimizer of the problems. In addition, we show that any accumulation point of the sequence generated by the BCD method is a saddle point of the penalty subproblem. Moreover, for the problems in which the $l_0$ part is the only nonconvex part, we establish that such an accumulation point is a local minimizer of the penalty subproblem. Finally, we test the performance of our PD methods by applying them to sparse logistic regression, sparse inverse covariance selection, and compressed sensing problems. The computational results demonstrate that our methods generally outperform the existing methods in terms of solution quality and/or speed.

研究动机与目标

• 为解决一般 $l_0$ 最小化问题的挑战，此类问题为 NP-难问题，且缺乏高效的全局求解方法。
• 开发一种可处理 $l_0$-范数最小化非凸、组合性质的收敛算法框架。
• 在较弱假设下，为所提出的惩罚分解（PD）方法建立理论收敛保证。
• 在关键稀疏学习应用中，展示 PD 方法相对于现有方法的实用性优势。

提出的方法

• PD 方法通过迭代最小化一系列惩罚子问题来求解 $l_0$ 最小化问题，其中 $l_0$-范数通过精确惩罚公式进行惩罚。
• 每个惩罚子问题通过块坐标下降（BCD）方法求解，该方法交替优化变量 $x$ 和表示 $l_0$-范数的辅助变量。
• 该方法采用精确惩罚函数来松弛 $l_0$-范数约束，将非凸问题转化为一系列更平滑的子问题。
• 在标准假设下进行收敛性分析：$f$、$g$ 和 $h$ 均为连续可微函数，且当 $h$ 为仿射函数时，$f$ 和 $g$ 为凸函数。
• 在不同稀疏度水平之间采用热启动策略，以提高数值实验中的计算效率。
• 该算法应用于三个实际问题：压缩感知、稀疏逻辑回归和稀疏逆协方差选择。

实验结果

研究问题

• RQ1 采用块坐标下降的惩罚分解方法能否实现对一般 $l_0$ 最小化问题的一阶最优解的收敛？
• RQ2 在何种条件下，PD 迭代序列的聚点对应于原问题的局部极小点？
• RQ3 与 IHT 和 GPSR 等现有方法相比，PD 方法在解的质量和计算速度方面表现如何？
• RQ4 $l_p$-范数松弛方法是否可能在 $p \in (0,1]$ 时仍无法恢复真实稀疏解？

主要发现

• PD 方法生成序列的任意聚点均满足 $l_0$ 最小化问题的一阶最优性条件。
• 当 $f$ 和 $g$ 为凸函数且 $h$ 为仿射函数时，PD 迭代序列的任意聚点均为原问题的局部极小点。
• 给定惩罚子问题的 BCD 迭代序列的任意聚点均为该子问题的鞍点。
• 在相同的凸性假设下，此类 BCD 聚点同时也是惩罚子问题的局部极小点。
• 在压缩感知中，PD 方法的残差显著低于 GPSR，且在 $A$ 具有或正交行时，性能与 IHT 相当或更优。
• PD 方法在解的质量（更低残差）方面优于 GPSR，在准确率上与 IHT 相当或更优，同时在高稀疏度场景下保持了具有竞争力的速度。