[论文解读] Sparse Regularization: Convergence Of Iterative Jumping Thresholding Algorithm

Jinshan Zeng, Shao-Bo Lin+1 more|arXiv (Cornell University)|Feb 24, 2014

Sparse and Compressive Sensing Techniques参考文献 38被引用 4

一句话总结

该论文提出了一种用于非凸正则化、使用具有不连续阈值函数的惩罚项（如 $l_q$-范数，其中 $0<q<1$）的迭代跳跃阈值（IJT）算法。该工作建立了有限支撑和符号收敛性，并在受限Kurdyka-Łojasiewicz（rKL）性质及额外光滑性条件下，证明了算法以渐近线性速率强收敛于局部极小值点。

ABSTRACT

In recent studies on sparse modeling, non-convex penalties have received considerable attentions due to their superiorities on sparsity-inducing over the convex counterparts. Compared with the convex optimization approaches, however, the non-convex approaches have more challenging convergence analysis. In this paper, we study the convergence of a non-convex iterative thresholding algorithm for solving sparse recovery problems with a certain class of non-convex penalties, whose corresponding thresholding functions are discontinuous with jump discontinuities. Therefore, we call the algorithm the iterative jumping thresholding (IJT) algorithm. The finite support and sign convergence of IJT algorithm is firstly verified via taking advantage of such jump discontinuity. Together with the assumption of the introduced restricted Kurdyka-Łojasiewicz (rKL) property, then the strong convergence of IJT algorithm can be proved.Furthermore, we can show that IJT algorithm converges to a local minimizer at an asymptotically linear rate under some additional conditions. Moreover, we derive a posteriori computable error estimate, which can be used to design practical terminal rules for the algorithm. It should be pointed out that the $l_q$ quasi-norm ($0

研究动机与目标

• 为解决非凸稀疏正则化中的收敛性分析挑战，特别是针对具有不连续阈值函数的惩罚项。
• 在阈值函数存在跳跃间断点时，建立迭代阈值算法的有限支撑和符号收敛性。
• 在受限Kurdyka-Łojasiewicz（rKL）性质下，证明 IJT 算法强收敛于局部极小值点。
• 在额外光滑性和集中性条件下，推导出渐近线性收敛速率。
• 为实际终止规则提供可后验计算的误差估计。

提出的方法

• 提出用于求解具有非凸惩罚项的稀疏恢复问题的迭代跳跃阈值（IJT）算法，特别适用于具有不连续阈值函数的情形。
• 利用阈值函数中的跳跃间断性，建立迭代序列的有限支撑和符号收敛性。
• 应用受限Kurdyka-Łojasiewicz（rKL）性质，证明 IJT 迭代序列强收敛于驻点。
• 采用泰勒展开与矩阵分析方法，推导出在极限点邻域内的线性收敛速率。
• 基于收敛速率与三角不等式，推导出可用于实际停止准则的可后验误差估计。
• 分析 $l_q$-范数（$0<q<1$）作为关键子类，证明在集中性条件下可实现线性收敛。

实验结果

研究问题

• RQ1 IJT 算法能否在具有不连续阈值函数的非凸惩罚项下实现有限支撑和符号收敛？
• RQ2 在何种条件下 IJT 算法强收敛于局部极小值点？
• RQ3 IJT 算法的渐近收敛速率是多少？在何种假设下其为线性？
• RQ4 如何推导出可用于指导 IJT 算法实际终止的可计算误差估计？
• RQ5 在适当的集中性条件下，IJT 算法对 $l_q$-范数正则化（$0<q<1$）是否保持线性收敛？

主要发现

• 由于阈值函数中存在跳跃间断性，IJT 算法实现了有限支撑和符号收敛。
• 在受限Kurdyka-Łojasiewicz（rKL）性质下，IJT 算法强收敛于局部极小值点。
• 在额外光滑性和集中性条件下，IJT 算法以渐近线性速率收敛于局部极小值点。
• 对于 $l_q$-范数正则化（$0<q<1$），在适当集中性条件下 IJT 算法实现线性收敛。
• 推导出可后验计算的误差估计，支持实际实现中使用可靠的终止规则。
• 仿真结果验证了理论收敛行为，并展示了 IJT 在 $q=1/2$ 和 $q=2/3$ 时相比 IRLS 和 IRL1 具有更高的时间效率。