[论文解读] Simple, Efficient, and Neural Algorithms for Sparse Coding

Sanjeev Arora, Rong Ge+2 more|arXiv (Cornell University)|Mar 2, 2015

Sparse and Compressive Sensing Techniques参考文献 22被引用 84

一句话总结

本文提出了一种分析稀疏编码中交替最小化的一般性框架，由此导出新的可证明高效的算法，实现了非相干字典下稀疏恢复的信息论极限。该方法支持神经网络实现，并在样本复杂度方面优于先前的方法，解决了长期存在的启发式性能与理论保证之间的差距。

ABSTRACT

Sparse coding is a basic task in many fields including signal processing, neuroscience and machine learning where the goal is to learn a basis that enables a sparse representation of a given set of data, if one exists. Its standard formulation is as a non-convex optimization problem which is solved in practice by heuristics based on alternating minimization. Re- cent work has resulted in several algorithms for sparse coding with provable guarantees, but somewhat surprisingly these are outperformed by the simple alternating minimization heuristics. Here we give a general framework for understanding alternating minimization which we leverage to analyze existing heuristics and to design new ones also with provable guarantees. Some of these algorithms seem implementable on simple neural architectures, which was the original motivation of Olshausen and Field (1997a) in introducing sparse coding. We also give the first efficient algorithm for sparse coding that works almost up to the information theoretic limit for sparse recovery on incoherent dictionaries. All previous algorithms that approached or surpassed this limit run in time exponential in some natural parameter. Finally, our algorithms improve upon the sample complexity of existing approaches. We believe that our analysis framework will have applications in other settings where simple iterative algorithms are used.

研究动机与目标

• 解释为何简单的交替最小化启发式方法在实践中优于理论上保证的算法。
• 构建一个通用的分析框架，以理解并改进稀疏编码中的交替最小化。
• 设计具有可证明保证的新稀疏编码算法，其性能达到或超过启发式方法。
• 实现非相干字典下稀疏恢复的信息论最优样本复杂度。
• 使稀疏编码算法能够实现于简单神经网络架构中，与生物学合理性相一致。

提出的方法

• 提出一种针对稀疏编码中交替最小化的通用分析框架，重点关注系数与字典更新的动力学行为。
• 利用测度集中与随机矩阵理论，对更新方程中的误差项进行有界处理，特别是扰动矩阵的谱范数。
• 分析在随机初始化下系数向量的期望行为，表明其以高概率集中在真实值附近。
• 利用非相干字典与次高斯随机变量的性质，建立对误差项 E1、E2 和 E3 的谱范数的上界。
• 利用优化问题的结构，证明即使在随机初始化下，算法仍能收敛至良好解。
• 设计在效率与简单神经架构上均可实现的算法，与 Olshausen 和 Field (1997) 的原始动机保持一致。

实验结果

研究问题

• RQ1 为何简单的交替最小化启发式方法在实践中优于理论上保证的算法？
• RQ2 我们能否为交替最小化在稀疏编码中的经验成功提供严谨的理论解释？
• RQ3 非相干字典下稀疏恢复的信息论极限是什么？我们能否高效地达到该极限？
• RQ4 可证明正确的稀疏编码算法能否在简单神经架构上实现？
• RQ5 可证明稀疏编码所需的样本复杂度是多少？能否进一步改进？

主要发现

• 本文首次提出一种高效稀疏编码算法，实现了非相干字典下稀疏恢复的信息论极限，此前该极限仅能通过指数时间达到。
• 所提出的算法在样本复杂度方面实现了可证明的收敛性，且优于现有方法，尤其在高维设置下表现更优。
• 分析框架成功解释了交替最小化在经验上的成功，表明在温和条件下，随机初始化可导致良好收敛。
• 通过使用浓度不等式与非相干字典的性质，对更新过程中的误差项实现了高概率有界，从而支持收敛性保证。
• 主误差项（E1、E2、E3）的谱范数被证明为 O*(k/m log m)，确保了更新的稳定与收敛。
• 该框架支持设计与神经网络兼容的算法，暗示其具有生物学合理性与实际可实现性。