[论文解读] Understanding the Learned Iterative Soft Thresholding Algorithm with matrix factorization

Thomas Moreau, Joan Bruna|arXiv (Cornell University)|Jun 2, 2017

Sparse and Compressive Sensing Techniques被引用 8

一句话总结

本文解释了LISTA（一种学习的迭代软阈值算法）为何在稀疏编码中实现更快收敛，其关键在于识别出字典的格拉姆矩阵的一种特定矩阵分解，该分解几乎将其对角化，同时保持ℓ1球结构。作者证明这种分解可带来更优的收敛界，尤其在早期迭代中效果显著，并表明该分解对加速而言既是必要也是充分条件，该结论在具有结构化与非结构化字典的图像数据集上得到验证。

ABSTRACT

Sparse coding is a core building block in many data analysis and machine learning pipelines. Typically it is solved by relying on generic optimization techniques, such as the Iterative Soft Thresholding Algorithm and its accelerated version (ISTA, FISTA). These methods are optimal in the class of first-order methods for non-smooth, convex functions. However, they do not exploit the particular structure of the problem at hand nor the input data distribution. An acceleration using neural networks, coined LISTA, was proposed in Gregor and Le Cun (2010), which showed empirically that one could achieve high quality estimates with few iterations by modifying the parameters of the proximal splitting appropriately. In this paper we study the reasons for such acceleration. Our mathematical analysis reveals that it is related to a specific matrix factorization of the Gram kernel of the dictionary, which attempts to nearly diagonalise the kernel with a basis that produces a small perturbation of the $\ell_1$ ball. When this factorization succeeds, we prove that the resulting splitting algorithm enjoys an improved convergence bound with respect to the non-adaptive version. Moreover, our analysis also shows that conditions for acceleration occur mostly at the beginning of the iterative process, consistent with numerical experiments. We further validate our analysis by showing that on dictionaries where this factorization does not exist, adaptive acceleration fails.

研究动机与目标

• 理解LISTA在稀疏编码中加速的数学机制，超越单纯的实验观察。
• 识别字典和数据分布中促成迭代稀疏编码更快收敛的结构性条件。
• 形式化矩阵分解在提升凸优化中邻近分裂算法收敛速率中的作用。
• 验证成功加速的关键在于特定矩阵分解的存在，而非网络容量本身。

提出的方法

• 提出对字典格拉姆矩阵D^T D的矩阵分解，使其几乎对角化，同时在正交变换下保持ℓ1球结构。
• 引入LISTA网络的重参数化方法，显式计算该分解，从而降低模型复杂度。
• 推导出旋转后的邻近分裂算法的新收敛界，在适当稀疏性条件下优于ISTA的界。
• 通过理论分析表明，加速效果是瞬时的，主要体现在早期迭代中。
• 在小波编码的图像块和学习得到的MNIST字典上，对方法进行实证评估，与ISTA和FacNet进行比较。
• 证明在傅里叶字典上加速失败，从而证实所提出分解的必要性。

实验结果

研究问题

• RQ1 字典的何种结构性特征使得LISTA在稀疏编码中实现加速？
• RQ2 格拉姆矩阵的矩阵分解如何与迭代软阈值中的收敛改善相关联？
• RQ3 LISTA中观察到的加速是源于特定分解，还是深度网络的一般属性？
• RQ4 该加速能否被定量界定，且是否依赖于输入的稀疏度水平？
• RQ5 该矩阵分解是否对加速而言既是必要也是充分条件，或存在其他机制？

主要发现

• 本文识别出字典格拉姆矩阵的一种特定矩阵分解，该分解几乎使其对角化，同时在正交变换下保持ℓ1球结构，这是LISTA加速的关键。
• 该分解导致相较于标准ISTA的可证明更优收敛界，尤其在早期迭代中效果显著。
• 理论分析确认加速效果是瞬时的，随着迭代趋近最优解而减弱。
• 实证结果表明，在MNIST结构化数据上，12层LISTA在1000次迭代后性能与ISTA相当，展现出显著加速。
• 在缺乏所需分解的傅里叶字典上，LISTA无法实现加速，证明了所识别矩阵结构的必要性。
• 显式计算该分解的重参数化LISTA模型性能与原始网络相当，验证了理论框架的有效性。