[论文解读] Sparse and spurious: dictionary learning with noise and outliers

Rémi Gribonval, Rodolphe Jenatton+1 more|arXiv (Cornell University)|Jul 19, 2014

Sparse and Compressive Sensing Techniques参考文献 42被引用 5

一句话总结

该论文在噪声和异常值存在的情况下，证明了稀疏字典学习中局部最小值的存在性，表明以高概率，真实参考字典可在局部最优解附近被恢复。该工作通过非渐近概率分析协同性与稀疏性缩放，将先前研究扩展至过完备、含噪声及受异常值影响的信号场景。

ABSTRACT

A popular approach within the signal processing and machine learning communities consists in modelling signals as sparse linear combinations of atoms selected from a learned dictionary. While this paradigm has led to numerous empirical successes in various fields ranging from image to audio processing, there have only been a few theoretical arguments supporting these evidences. In particular, sparse coding, or sparse dictionary learning, relies on a non-convex procedure whose local minima have not been fully analyzed yet. In this paper, we consider a probabilistic model of sparse signals, and show that, with high probability, sparse coding admits a local minimum around the reference dictionary generating the signals. Our study takes into account the case of over-complete dictionaries, noisy signals, and possible outliers, thus extending previous work limited to noiseless settings and/or under-complete dictionaries. The analysis we conduct is non-asymptotic and makes it possible to understand how the key quantities of the problem, such as the coherence or the level of noise, can scale with respect to the dimension of the signals, the number of atoms, the sparsity and the number of observations.

研究动机与目标

• 从理论上解释稀疏字典学习在存在噪声和异常值时的实证成功。
• 分析在非凸稀疏编码优化中，真实字典附近是否存在局部最小值。
• 将先前的可识别性结果从无噪声和欠完备设置扩展至更真实的信号条件。
• 量化关键参数（如协同性、噪声水平、稀疏度和信号维度）对恢复保证的影响。
• 在概率信号模型下，提供字典学习稳定性和鲁棒性的非渐近界。

提出的方法

• 采用具有有界非零系数和加性噪声的稀疏信号概率模型，以模拟真实信号生成过程。
• 通过真实与估计重构误差之间期望差值的分析，研究稀疏编码目标函数的优化景观。
• 应用累积协同性假设和限制等距性质（RIP），以控制真实字典附近优化目标的行为。
• 利用精确恢复论证（命题3）表明，代理目标函数在参考字典邻域内近似真实目标函数。
• 借助凸对偶性和高概率浓度不等式，将几乎必然结果替换为高概率保证，从而提升鲁棒性。
• 提出一种框架，可将最坏情况界替换为基于期望值的界，降低理论保证的保守性。

实验结果

研究问题

• RQ1 在存在噪声的情况下，稀疏字典学习在什么条件下会在真实参考字典附近存在局部最小值？
• RQ2 字典的协同性和稀疏度水平如何影响优化景观的稳定性？
• RQ3 在噪声和异常值污染的信号下，字典恢复的理论保证能否扩展至过完备字典？
• RQ4 真实字典附近存在局部最小值的邻域半径与信噪比或稀疏度之间有何关系？
• RQ5 能否用高概率恢复结果替代几乎必然结果，以提升理论界在鲁棒性和实际相关性方面的表现？

主要发现

• 即使在存在噪声和异常值的情况下，以高概率可在真实字典的邻域内找到稀疏编码目标函数的局部最小值。
• 该邻域的半径在Frobenius范数下有界，为 $ O(1) $，由于字典原子的对称性，该界是紧致的。
• 分析表明，在半径 $ r = O(1) $ 的球内，真实与代理目标函数的期望差值为正，从而确保局部最优性。
• 该方法可将保守的最坏情况界（如 $ M_{oldsymbol{eta}} $）替换为基于期望值的界，提升理论结果的实际相关性。
• 通过放松对系数范围的假设，可将理论保证扩展至极过完备的字典（超过 $ p rianglelesssim m^2 $）。
• 可利用浓度不等式推导出高概率恢复结果，替代几乎必然假设，从而提升对模型误设的鲁棒性。