[论文解读] Structured Local Optima in Sparse Blind Deconvolution

Yuqian Zhang, Han-Wen Kuo+1 more|arXiv (Cornell University)|Jun 1, 2018

Sparse and Compressive Sensing Techniques参考文献 35被引用 8

一句话总结

该论文提出了一种非凸优化框架，用于短核与稀疏激活信号的稀疏盲反卷积，将核约束在单位球面上。在较宽松条件下——稀疏度 $\theta \lesssim k^{-2/3}$ 且样本数 $m \gtrsim \operatorname{poly}(k)$——结合简单初始化与能够逃离严格鞍点的下降算法，可恢复接近真实核的平移截断版本。

ABSTRACT

Blind deconvolution is a ubiquitous problem of recovering two unknown signals from their convolution. Unfortunately, this is an ill-posed problem in general. This paper focuses on the {\em short and sparse} blind deconvolution problem, where the one unknown signal is short and the other one is sparsely and randomly supported. This variant captures the structure of the unknown signals in several important applications. We assume the short signal to have unit $\ell^2$ norm and cast the blind deconvolution problem as a nonconvex optimization problem over the sphere. We demonstrate that (i) in a certain region of the sphere, every local optimum is close to some shift truncation of the ground truth, and (ii) for a generic short signal of length $k$, when the sparsity of activation signal $θ\lesssim k^{-2/3}$ and number of measurements $m\gtrsim poly(k)$, a simple initialization method together with a descent algorithm which escapes strict saddle points recovers a near shift truncation of the ground truth kernel.

研究动机与目标

• 通过利用神经元脉冲排序和显微成像等应用中常见的短而稀疏信号结构，解决盲反卷积的病态性问题。
• 通过在单位球面上构建问题，消除卷积固有的缩放-平移模糊性，从而克服该模糊性。
• 在现实的稀疏度与样本量条件下，建立局部最优解接近真实核平移截断版本的理论保证。
• 提供一个可证明收敛的算法框架，能够逃离严格鞍点，并恢复接近最优的解。

提出的方法

• 在单位球面 $\mathbb{S}^{k-1}$ 上将盲反卷积表述为非凸优化问题，最小化 $-\|\check{\mathbf{y}} \circledast \mathbf{r}_{\mathbf{y}}(\mathbf{q})\|_4^4$。
• 使用预条件器 $\mathbf{r}_{\mathbf{y}}(\mathbf{q})$ 近似反卷积的反转激活信号 $\mathbf{x}_0$。
• 将核 $\mathbf{q}$ 的弗罗贝尼乌斯范数约束为单位范数，以消除缩放自由度。
• 应用能够逃离严格鞍点的下降算法，利用非凸优化理论中的工具。
• 使用矩矩不等式与矩阵集中不等式（如伯恩斯坦型）分析目标函数及其梯度的行为。
• 证明在球面的某一区域内的局部最优解，接近真实核 $\mathbf{a}_0$ 的平移截断版本。

实验结果

研究问题

• RQ1 在稀疏盲反卷积的非凸优化景观中，是否可保证局部最优解接近真实核的平移截断版本？
• RQ2 在稀疏度 $\theta$ 与样本量 $m$ 满足何种条件下，简单初始化结合下降方法可恢复接近最优的解？
• RQ3 核的单位范数约束如何影响优化景观的几何结构？
• RQ4 在现实的信号模型下，能否严格证明结构化局部最优解的存在？
• RQ5 为确保以高概率实现恢复，所需的最小测量数 $m$ 是多少？

主要发现

• 球面某一区域内的每个局部最优解，均接近真实核 $\mathbf{a}_0$ 的某个平移截断版本。
• 对于长度为 $k$ 的一般短信号，当稀疏度 $\theta \lesssim k^{-2/3}$ 且测量数 $m \gtrsim \operatorname{poly}(k)$ 时，算法可恢复接近真实核的平移截断版本。
• 简单初始化方法结合能够逃离严格鞍点的下降算法，可实现接近最优解的恢复。
• 由于卷积算子的固有平移对称性，优化景观表现出结构化的局部最优解。
• 理论保证通过矩矩不等式与矩阵集中不等式建立，包括随机矩阵与向量的伯恩斯坦型不等式。
• 恢复结果对随机且稀疏的激活信号具有鲁棒性，在对信号结构施加弱假设的条件下以高概率成立。