[论文解读] The basins of attraction of the global minimizers of the non-convex sparse spike estimation problem

Yann Traonmilin, Jean–François Aujol|arXiv (Cornell University)|Nov 29, 2018

Sparse and Compressive Sensing Techniques参考文献 31被引用 28

一句话总结

本文通过表征非凸稀疏尖峰估计问题中全局最小值点周围的吸引域，分析了该问题。在核度量下的受限等距性（RIP）条件下，证明了全局最小值具有明确定义的吸引域，且随着测量次数增加而扩大，从而为基于梯度的方法和贪婪算法提供了理论恢复保证。

ABSTRACT

The sparse spike estimation problem consists in estimating a number of off-the-grid impulsive sources from under-determined linear measurements. Information theoretic results ensure that the minimization of a non-convex functional is able to recover the spikes for adequately chosen measurements (deterministic or random). To solve this problem, methods inspired from the case of finite dimensional sparse estimation where a convex program is used have been proposed. Also greedy heuristics have shown nice practical results. However, little is known on the ideal non-convex minimization method. In this article, we study the shape of the global minimum of this non-convex functional: we give an explicit basin of attraction of the global minimum that shows that the non-convex problem becomes easier as the number of measurements grows. This has important consequences for methods involving descent algorithms (such as the greedy heuristic) and it gives insights for potential improvements of such descent methods.

研究动机与目标

• 理解非凸稀疏尖峰估计问题中全局最小值点的几何结构。
• 通过分析吸引域，为基于下降法的方法（如贪婪启发式算法）建立理论恢复保证。
• 将测量算子在核度量下的受限等距性（RIP）与全局最小值点处Hessian矩阵的条件数联系起来。
• 量化参数空间（尖峰的振幅和位置）中吸引域的大小，表明其随测量次数的增加而增大。
• 为改进超分辨率和压缩感知中贪婪算法与下降法提供理论基础。

提出的方法

• 将稀疏尖峰估计问题建模为在 $k$-尖峰测度的低维流形 $\Sigma_{k,\epsilon}$ 上最小化平方误差 $\|Ax - y\|_2^2$，其中尖峰间满足 $\epsilon$-分离条件。
• 引入由核函数诱导的度量 $\|\cdot\|_h$，以定义测量算子 $A$ 的受限等距性（RIP），从而确保稳定恢复。
• 分析目标函数在全局最小值点处的Hessian矩阵，并将其条件数与吸引域的几何结构相关联。
• 利用RIP常数、$\gamma$、$\mu$ 以及核函数 $\rho$ 的二阶导数，推导出参数空间中吸引域半径 $\beta$ 的显式边界。
• 利用介值定理和连续性论证，证明任意连接两个 $\epsilon$-分离尖峰配置的路径均保持在可行集 $\Theta_{k,\epsilon}$ 内。
• 应用三角不等式和核度量中的范数界，控制差值 $\|\phi(\theta) - \phi(\theta^*)\|_h$，并推导出收敛的充分条件。

实验结果

研究问题

• RQ1 在非凸稀疏尖峰估计问题中，全局最小值点周围的吸引域的大小和形状是什么？
• RQ2 测量次数如何影响吸引域的大小？
• RQ3 能否将核度量下的受限等距性（RIP）与全局最小值点处Hessian矩阵的条件数联系起来？
• RQ4 在何种条件下，梯度下降或贪婪方法能收敛到全局最小值点？
• RQ5 振幅分离与尖峰分离如何影响吸引域的稳定性与大小？

主要发现

• 全局最小值点的吸引域在参数空间（振幅与位置）中被显式表征，其半径 $\beta$ 随测量次数 $m$ 的增加而增大。
• 吸引域的大小受包含RIP常数 $\gamma$、$\mu$、核函数二阶导数 $\rho''(0)$ 以及振幅 $a_i$ 的条件约束。
• 当 $\beta \leq \frac{(1-\gamma)(1-(k-1)\mu)\min(1, |a_1|^2 |\rho''(0)|/4)}{(d+1)\sqrt{1+\gamma}\sqrt{1+(k-1)\mu}\max(|a_k|\sqrt{m}D_{A,R}, \sqrt{1+\gamma}\sqrt{|\rho''(0)|})(1+\sqrt{1+2|\rho''(0)|\|a^*\|_2^2})}$ 时，可保证该区域内的全局最小值点是唯一最小值点。
• 结果表明，随着测量次数 $m$ 增加，吸引域不断扩大，使得非凸问题通过下降法求解变得更加容易。
• 该分析为贪婪算法的实验成功提供了理论依据：若初始点位于吸引域内，则可保证收敛到全局最小值点。
• 研究结果表明，核度量 $\|\cdot\|_h$ 对RIP和稳定恢复至关重要，而自然的总变差度量在有限傅里叶测量下无法支持RIP。