[论文解读] Working Locally Thinking Globally - Part II: Stability and Algorithms for Convolutional Sparse Coding

Vardan Papyan, Jeremias Sulam+1 more|arXiv (Cornell University)|Jul 7, 2016

Sparse and Compressive Sensing Techniques参考文献 12被引用 11

一句话总结

本文为卷积稀疏编码在噪声环境下的理论稳定性提供了保证，将经典的RIP和ERC概念推广至卷积设置。证明了基追踪（Basis Pursuit）和正交匹配追踪（Orthogonal Matching Pursuit）能够恢复接近真实稀疏码的解，并提出一种新颖的局部算法，通过基于块的处理实现全局最优。

ABSTRACT

The convolutional sparse model has recently gained increasing attention in the signal and image processing communities, and several methods have been proposed for solving the pursuit problem emerging from it -- in particular its convex relaxation, Basis Pursuit. In the first of this two-part work, we have provided a theoretical back-bone for this model, providing guarantees for the uniqueness of the sparsest solution and for the success of pursuit algorithms by introducing the notion of stripe sparsity and other related measures. Herein, we extend the analysis to a noisy regime, thereby considering signal perturbations and model deviations. We address questions of stability of the sparsest solutions and the success of pursuit algorithms, both greedy and convex. Classical definitions such as the RIP are generalized to the convolutional model, and existing notions such as the ERC are connected to our setting. On the algorithmic side, we demonstrate how to solve the global pursuit problem by using simple local processing, thus offering a first of its kind bridge between global modeling of signals and their patch-based local treatment.

研究动机与目标

• 解决卷积稀疏编码在噪声环境中缺乏理论稳定性保证的问题。
• 将经典的稀疏恢复概念——RIP与ERC——推广至卷积稀疏编码框架。
• 证明基追踪（Basis Pursuit）和正交匹配追踪（Orthogonal Matching Pursuit）在噪声下仍保持稳定与准确。
• 通过仅使用局部操作，弥合全局信号建模与局部基于块的处理之间的差距，实现全局追踪。
• 为局部算法在恢复全局最优稀疏表示方面的成功提供理论基础。

提出的方法

• 引入一种新颖的稀疏度度量——ℓ₀,∞范数，以捕捉重叠信号段中的条带级稀疏性。
• 利用循环矩阵和带状字典结构，将受限等距性（RIP）和精确恢复条件（ERC）推广至卷积模型。
• 证明当真实稀疏码的ℓ₀,∞范数有界时，ERC条件成立，从而确保稳定恢复。
• 推导出真实稀疏向量与基追踪及最小二乘法解之间ℓ∞-距离的上界，表明其与真实解的距离在O(εL)范围内。
• 设计一种局部算法，通过处理重叠块来解决全局追踪问题，利用平移不变结构。
• 利用Tropp的稀疏恢复定理，以噪声水平εL和字典的互相关性为条件，界定基追踪解的误差。

实验结果

研究问题

• RQ1 经典稳定性概念如RIP和ERC如何推广至卷积稀疏编码模型？
• RQ2 在何种条件下，卷积稀疏编码问题的最稀疏解在噪声下保持稳定？
• RQ3 能否仅通过局部、基于块的操作解决全局追踪问题，同时保持全局最优性？
• RQ4 在噪声卷积设置下，对正交匹配追踪和基追踪的性能可提供哪些理论保证？
• RQ5 ℓ₀,∞范数与卷积模型中稀疏恢复成功之间的关系是什么？

主要发现

• 本文证明，若真实稀疏码的ℓ₀,∞范数小于1/3(1 + 1/μ(D))，则精确恢复条件（ERC）成立，从而确保稳定恢复。
• 在所述条件下，基追踪解在ℓ∞-范数下与真实稀疏向量的距离不超过7.5εL。
• 最小二乘解与真实稀疏向量之间的距离在ℓ∞-范数下被限制在1.5εL以内。
• 基追踪解与最小二乘解之间的差异在ℓ∞-范数下被限制在6εL以内。
• 所提出的局部算法通过完全基于局部、块状处理求解全局追踪问题，实现了全局最优性。
• 理论分析证实，OMP与BP在噪声下均保持稳定与准确，其误差界以噪声水平εL明确量化。