[论文解读] Understanding Trainable Sparse Coding via Matrix Factorization

Thomas Moreau, Joan Bruna|arXiv (Cornell University)|Sep 1, 2016

Advanced Data Compression Techniques被引用 14

一句话总结

本文通过展示字典的格拉姆矩阵的特定矩阵分解（近似对角化同时保持ℓ₁球结构）解释了可训练稀疏编码方法（如LISTA）为何比标准ISTA收敛更快。作者在该分解条件下证明了改进的收敛界，通过图像数据集进行实证验证，并表明当此类分解不存在时，加速效果会消失。

ABSTRACT

Sparse coding is a core building block in many data analysis and machine learning pipelines. Typically it is solved by relying on generic optimization techniques, that are optimal in the class of first-order methods for non-smooth, convex functions, such as the Iterative Soft Thresholding Algorithm and its accelerated version (ISTA, FISTA). However, these methods don't exploit the particular structure of the problem at hand nor the input data distribution. An acceleration using neural networks was proposed in \cite{Gregor10}, coined LISTA, which showed empirically that one could achieve high quality estimates with few iterations by modifying the parameters of the proximal splitting appropriately. In this paper we study the reasons for such acceleration. Our mathematical analysis reveals that it is related to a specific matrix factorization of the Gram kernel of the dictionary, which attempts to nearly diagonalise the kernel with a basis that produces a small perturbation of the $\ell_1$ ball. When this factorization succeeds, we prove that the resulting splitting algorithm enjoys an improved convergence bound with respect to the non-adaptive version. Moreover, our analysis also shows that conditions for acceleration occur mostly at the beginning of the iterative process, consistent with numerical experiments. We further validate our analysis by showing that on dictionaries where this factorization does not exist, adaptive acceleration fails.

研究动机与目标

• 理解可训练稀疏编码方法（如LISTA）中观察到的加速现象背后的数学机制。
• 识别字典和数据分布的结构性条件，这些条件使收敛速度优于标准ISTA。
• 在基于神经网络的稀疏编码与格拉姆矩阵的矩阵分解之间建立理论联系。
• 证明成功的加速依赖于特定矩阵分解的存在，而非仅网络容量。
• 基于所提出的分解框架，对LISTA进行重参数化，以减少学习复杂度，同时保持性能。

提出的方法

• 提出对字典格拉姆矩阵 G = D^T D 的矩阵分解，该分解近似对角化 G，同时保持 ℓ₁ 球在变换下几乎不变。
• 基于此分解定义一种旋转的近端分裂算法，推导出在适当稀疏性条件下优于ISTA的收敛界。
• 对LISTA神经网络进行重参数化，显式学习分解的各组成部分，从而减少可训练参数数量。
• 使用反向传播在图像数据集（PASCAL VOC 2008 和 MNIST）上训练网络，以图像块为输入，稀疏编码为输出目标。
• 通过比较因子分解网络、标准ISTA和LISTA在迭代过程中 F(z_k) - F(z*) 的代价函数表现，评估性能。
• 通过在傅里叶字典上测试，验证因子分解的必要性：在这些字典上未观察到加速效果。

实验结果

研究问题

• RQ1 字典和输入分布的何种结构性特性可实现可训练稀疏编码中的更快收敛？
• RQ2 格拉姆矩阵的矩阵分解如何与LISTA的性能提升相关联？
• RQ3 能否基于此分解理论解释并界定LISTA的收敛性改进？
• RQ4 矩阵分解条件是否为稀疏编码中加速的充分必要条件？
• RQ5 基于此分解的重参数化神经网络能否在减少参数量的同时实现相当的性能？

主要发现

• LISTA中的加速源于一种矩阵分解，该分解近似对角化了格拉姆矩阵，同时保持ℓ₁球结构，从而导致相较于ISTA的改进收敛界。
• 当满足分解条件时，所提出的旋转近端分裂方案的理论收敛界优于ISTA的界。
• 数值实验表明，基于因子分解的网络在超过1000次迭代后，性能与LISTA和ISTA相当，尤其在MNIST等结构化数据上表现更优。
• 在MNIST数据上，12层的因子分解网络在1000次迭代后达到ISTA的性能，表明在结构化数据上具有显著加速效果。
• 该方法具有瞬态特性：加速效果在早期迭代中最为显著，与经验观察一致。
• 在傅里叶字典上，由于所需分解不存在，未观察到加速效果，证实了分解条件的必要性。