[论文解读] Sparse Coding with Multi-Layer Decoders using Variance Regularization

Katrina Evtimova, Yann LeCun|arXiv (Cornell University)|Dec 16, 2021

Sparse and Compressive Sensing Techniques被引用 6

一句话总结

本文提出一种方差正则化方法，以防止在多层解码器端到端训练过程中稀疏自编码器代码的崩溃，从而无需对解码器权重进行正则化。该方法强制每个潜在代码分量具有最小方差，实现可解释性高、质量优的重建，并在低数据环境下提升下游性能。

ABSTRACT

Sparse representations of images are useful in many computer vision applications. Sparse coding with an $l_1$ penalty and a learned linear dictionary requires regularization of the dictionary to prevent a collapse in the $l_1$ norms of the codes. Typically, this regularization entails bounding the Euclidean norms of the dictionary's elements. In this work, we propose a novel sparse coding protocol which prevents a collapse in the codes without the need to regularize the decoder. Our method regularizes the codes directly so that each latent code component has variance greater than a fixed threshold over a set of sparse representations for a given set of inputs. Furthermore, we explore ways to effectively train sparse coding systems with multi-layer decoders since they can model more complex relationships than linear dictionaries. In our experiments with MNIST and natural image patches, we show that decoders learned with our approach have interpretable features both in the linear and multi-layer case. Moreover, we show that sparse autoencoders with multi-layer decoders trained using our variance regularization method produce higher quality reconstructions with sparser representations when compared to autoencoders with linear dictionaries. Additionally, sparse representations obtained with our variance regularization approach are useful in the downstream tasks of denoising and classification in the low-data regime.

研究动机与目标

• 解决稀疏编码系统在使用非线性解码器训练时，代码的 $l_1$ 范数发生崩溃的不稳定性问题。
• 通过直接对潜在代码进行正则化，消除对解码器权重显式正则化的需要。
• 实现稀疏编码的端到端多层解码器有效训练，其表达能力优于线性字典。
• 提升稀疏表示在重建任务及分类、去噪等下游任务中的可解释性和性能。
• 证明方差正则化可生成更稀疏、更高质量的表示，同时不损害训练稳定性。

提出的方法

• 在推理过程中引入方差正则化项，强制每个潜在代码分量在一批输入中具有最小方差。
• 通过在标准稀疏编码能量函数中增加一个惩罚项，使每个代码维度的经验方差超过固定阈值。
• 使用基于 FISTA 的推理方法，并采用可微分公式，以支持通过代码推理过程进行端到端反向传播。
• 使用正则化的稀疏编码目标对多层解码器进行端到端训练，实现在无需权重范数约束的情况下进行非线性特征学习。
• 将该方法应用于线性和多层解码器架构，后者支持分层、非线性表示。
• 训练一个编码器网络，以预测基于 FISTA 推理生成的稀疏代码，实现编码器与解码器的联合优化。

实验结果

研究问题

• RQ1 方差正则化能否在非线性多层解码器的端到端训练过程中防止稀疏代码的 $l_1$ 范数崩溃？
• RQ2 对每个代码分量强制最小方差是否能带来更可解释且解耦的稀疏表示特征？
• RQ3 与基于线性字典的模型相比，采用方差正则化的多层解码器稀疏自编码器在重建质量与稀疏性方面表现如何？
• RQ4 方差正则化的稀疏代码能否提升下游分类与去噪性能，尤其是在低数据环境下？
• RQ5 在不使用显式权重正则化或逐层预训练的情况下，是否可行训练深度非线性解码器用于稀疏编码？

主要发现

• 所提出的方差正则化方法在多层解码器的端到端训练过程中成功防止了稀疏代码的 $l_1$ 范数崩溃。
• 使用方差正则化的多层解码器稀疏自编码器在相同平均稀疏度下，其重建质量优于使用线性字典的模型。
• 在线性与多层解码器中学习到的特征均具有可解释性，各分量对应有意义的图像模式。
• 在低数据环境下，方差正则化模型生成的稀疏表示在 MNIST 分类任务中优于基线模型，表现出更强的泛化能力。
• 该方法实现了无需权重归一化或逐层预训练的深度非线性解码器的有效端到端训练。
• 方差正则化项稳定了训练过程，并在不同输入分布下保持了稳定且有意义的代码方差。