[论文解读] Stable and Interpretable Unrolled Dictionary Learning

Bahareh Tolooshams, Demba Ba|arXiv (Cornell University)|May 31, 2021

Sparse and Compressive Sensing Techniques被引用 4

一句话总结

该论文提出PUDLE，一种可证明稳定且可解释的展开字典学习方法，通过调整网络初始化、损失函数和梯度更新策略，解决了反向传播通过展开稀疏编码网络时代码和字典估计中的偏差问题。PUDLE通过确保收敛至真实字典，并通过显式建立网络权重、输出与训练数据之间的数学联系，实现了可解释性。

ABSTRACT

The dictionary learning problem, representing data as a combination of a few atoms, has long stood as a popular method for learning representations in statistics and signal processing. The most popular dictionary learning algorithm alternates between sparse coding and dictionary update steps, and a rich literature has studied its theoretical convergence. The success of dictionary learning relies on access to a "good" initial estimate of the dictionary and the ability of the sparse coding step to provide an unbiased estimate of the code. The growing popularity of unrolled sparse coding networks has led to the empirical finding that backpropagation through such networks performs dictionary learning. We offer the theoretical analysis of these empirical results through PUDLE, a Provable Unrolled Dictionary LEarning method. We provide conditions on the network initialization and data distribution sufficient to recover and preserve the support of the latent code. Additionally, we address two challenges; first, the vanilla unrolled sparse coding computes a biased code estimate, and second, gradients during backpropagated learning can become unstable. We show approaches to reduce the bias of the code estimate in the forward pass, and that of the dictionary estimate in the backward pass. We propose strategies to resolve the learning instability by tuning network parameters and modifying the loss function. Overall, we highlight the impact of loss, unrolling, and backpropagation on convergence. We complement our findings through synthetic and image denoising experiments. Finally, we demonstrate PUDLE's interpretability, a driving factor in designing deep networks based on iterative optimizations, by building a mathematical relation between network weights, its output, and the training set.

研究动机与目标

• 解决展开稀疏编码网络在反向传播过程中产生的代码和字典估计偏差问题。
• 通过初始化和数据分布的理论条件，确保字典学习的稳定收敛。
• 通过建立网络权重、输出与训练数据之间的数学联系，提升深度网络的可解释性。
• 解决展开网络中反向传播时梯度更新的不稳定性问题。
• 为展开字典学习提供理论基础框架，同时保持稀疏代码的支持恢复能力。

提出的方法

• PUDLE采用基于ISTA的展开网络，包含T轮稀疏编码迭代，每层学习Lasso解的可微分近似。
• 引入改进的损失函数，以减少前向传播中代码估计的偏差，并稳定反向传播的梯度更新。
• 采用基于成对方法（Arora et al., 2015）的定制化网络初始化策略，以提升初始支持恢复能力。
• 通过调节步长α并引入正则化参数ν的衰减机制，稳定梯度更新。
• 通过构建Gram矩阵G，量化每个训练样本对最终字典和代码输出的贡献，实现可解释性。
• 通过在展开网络中使用自动微分进行反向传播，学习字典，每次更新后应用归一化。

实验结果

研究问题

• RQ1 在何种网络初始化与数据分布条件下，展开字典学习能够保持稀疏代码的真实支持？
• RQ2 如何通过改进损失函数和网络参数，减少展开网络前向传播中代码估计的偏差，以提升字典恢复性能？
• RQ3 对损失函数和网络参数进行哪些修改，可稳定展开字典学习中反向传播的梯度更新？
• RQ4 如何通过数学框架将学习得到的字典和代码与训练数据关联，以实现可解释性？
• RQ5 展开深度、学习率和批量大小对展开字典学习中收敛性和稳定性的影响是什么？

主要发现

• PUDLE在各种学习率下均能稳定收敛至真实字典的邻域，其中使用ae-ls梯度时收敛效果最佳。
• 在适当的初始化和数据分布假设下，该方法成功恢复了真实稀疏代码的支持，经合成实验验证。
• 在图像去噪任务中，PUDLE的字典学习性能优于NOODL和SPORCO，在BSD100数据集上使用9×9卷积字典时达到31.4 dB的PSNR。
• 采用成对初始化方法可实现更快收敛和更优的支持恢复，即使在展开深度较浅（T=25）时亦然。
• Gram矩阵的构建实现了可解释性分析，显示在MNIST实验中，贡献最高的200张训练图像占重建能量的90%以上。
• 实验表明对学习率变化具有鲁棒性，收敛性在10−4、10−3和10−2学习率下均保持稳定，但较小学习率需要更多训练轮次。