[论文解读] Stochastic Greedy Algorithms For Multiple Measurement Vectors

Jing Qin, Shuang Li+5 more|arXiv (Cornell University)|Nov 5, 2017

Sparse and Compressive Sensing Techniques参考文献 40被引用 8

一句话总结

本文提出了一种用于多测量向量（MMV）问题中联合稀疏恢复的随机贪婪算法——MMV随机迭代硬阈值法（MStoIHT）和MMV随机梯度匹配追踪法（MStoGradMP）。通过利用随机优化和小批量技术，该方法在收敛速度和性能方面优于拼接的单测量向量（SMV）方法，具有理论保证，并在视频恢复和线性系统中得到实证验证。

ABSTRACT

Sparse representation of a single measurement vector (SMV) has been explored in a variety of compressive sensing applications. Recently, SMV models have been extended to solve multiple measurement vectors (MMV) problems, where the underlying signal is assumed to have joint sparse structures. To circumvent the NP-hardness of the $\ell_0$ minimization problem, many deterministic MMV algorithms solve the convex relaxed models with limited efficiency. In this paper, we develop stochastic greedy algorithms for solving the joint sparse MMV reconstruction problem. In particular, we propose the MMV Stochastic Iterative Hard Thresholding (MStoIHT) and MMV Stochastic Gradient Matching Pursuit (MStoGradMP) algorithms, and we also utilize the mini-batching technique to further improve their performance. Convergence analysis indicates that the proposed algorithms are able to converge faster than their SMV counterparts, i.e., concatenated StoIHT and StoGradMP, under certain conditions. Numerical experiments have illustrated the superior effectiveness of the proposed algorithms over their SMV counterparts.

研究动机与目标

• 解决在多测量向量（MMV）问题中，拼接的单测量向量（SMV）算法存在的计算效率低下和联合稀疏性强制不足的问题。
• 通过开发利用联合稀疏性结构的随机贪婪算法，克服MMV中ℓ₀最小化的NP难问题，而无需向量化或拼接。
• 通过将随机优化和小批量技术集成到贪婪MMV算法中，提升信号恢复的收敛速度和鲁棒性。
• 从理论上证明所提算法的收敛性，并展示其在分布式压缩感知中的适用性。
• 首次对拼接的SMV算法进行理论分析并讨论收敛性，填补了文献中的空白。

提出的方法

• 提出MStoIHT和MStoGradMP作为IHT和GradMP在MMV中的随机扩展，通过随机采样测量块来降低计算成本。
• 引入小批量技术以稳定梯度估计并加速收敛，实验中采用批量大小$ b = 3 $和$ d = 20 $个块。
• 利用行稀疏性约束$ \|X\|_{r,0} \leq k $在多个测量向量间强制实现联合稀疏性。
• 采用带硬阈值的随机梯度下降法，迭代更新支持集并更新解矩阵。
• 在线性测量模型中使用最小二乘损失函数$ F(X) = \frac{1}{2}\|Y - AX\|_F^2 $。
• 理论分析表明，在受限强凸性和光滑性条件下算法具有收敛性，且收敛速度优于SMV对应方法。

实验结果

研究问题

• RQ1 在MMV问题中，随机贪婪算法是否在收敛速度和精度方面优于确定性的基于SMV的方法？
• RQ2 小批量技术如何影响随机贪婪算法在联合稀疏恢复中的稳定性和收敛性？
• RQ3 与SMV拼接对应方法相比，所提随机MMV算法的理论收敛行为如何？
• RQ4 所提算法在真实世界应用（如视频恢复）中是否能有效恢复联合稀疏信号？
• RQ5 在何种条件下，随机MMV算法能保持或优于经典MMV求解器（如M-FOCUSS或M-CoSaMP）的性能？

主要发现

• 所提MStoIHT和MStoGradMP算法在受限强凸性和光滑性条件下，理论证明其收敛速度优于SMV拼接对应方法。
• 在视频恢复实验中，BMStoGradMP实现$ 3.09 \times 10^{-15} $的重建误差，耗时仅$ 2.56 \times 10^{-4} $秒，在精度和速度上均优于M-FOCUSS和M-OMP。
• MStoGradMP算法在0.0743秒内实现$ 2.51 \times 10^{-16} $的重建误差，显著优于M-FOCUSS（误差$ 3.21 \times 10^{-3} $）和M-HTP（误差$ 5.72 \times 10^{-2} $）。
• 所提算法在噪声环境下表现出鲁棒性，并在分布式压缩感知中表现优异，经合成数据和真实视频数据验证。
• 收敛性分析证实，在相同条件下，随机MMV算法的收敛速度优于拼接的SMV算法，且具有收敛速率的理论保证。
• 小批量技术显著提升了随机算法的稳定性和效率，数值实验显示其收敛更快且残差误差更低。