[论文解读] Scheduled denoising autoencoders

Krzysztof J. Geras, Charles Sutton|arXiv (Cornell University)|Jun 12, 2014

Generative Adversarial Networks and Image Synthesis参考文献 15被引用 23

一句话总结

本文提出了一种调度去噪自编码器（ScheDA），该方法通过逐渐降低噪声水平的调度策略训练去噪自编码器，以学习多尺度特征。通过从高噪声开始捕捉粗粒度特征，并逐步减少噪声以学习细粒度细节，ScheDA在CIFAR-10上实现了排列不变方法中的最先进性能，优于标准去噪自编码器，并在监督微调后达到了最低的报告错误率。

ABSTRACT

We present a representation learning method that learns features at multiple different levels of scale. Working within the unsupervised framework of denoising autoencoders, we observe that when the input is heavily corrupted during training, the network tends to learn coarse-grained features, whereas when the input is only slightly corrupted, the network tends to learn fine-grained features. This motivates the scheduled denoising autoencoder, which starts with a high level of noise that lowers as training progresses. We find that the resulting representation yields a significant boost on a later supervised task compared to the original input, or to a standard denoising autoencoder trained at a single noise level. After supervised fine-tuning our best model achieves the lowest ever reported error on the CIFAR-10 data set among permutation-invariant methods.

研究动机与目标

• 为解决标准去噪自编码器仅在单一噪声水平下学习特征、可能遗漏多尺度表征的局限性。
• 探究训练过程中采用动态噪声调度是否能获得优于固定噪声训练的更好特征表征。
• 通过逐步减少噪声，鼓励网络同时学习粗粒度和细粒度特征，从而提升下游监督任务的性能。
• 证明先学习全局特征、再学习局部特征的策略，可带来更鲁棒且更具泛化能力的表征。

提出的方法

• 该模型采用去噪自编码器框架，其中输入数据在训练过程中以随时间递减的噪声水平被破坏。
• 训练初期采用高噪声水平（例如 ν = 0.4），以促使网络学习全局的、粗粒度的特征。
• 随着训练推进，噪声水平逐步降低（例如降至 ν = 0.2），使网络能够学习更精细的局部细节。
• 编码器将被破坏的输入映射为隐藏表征，解码器则从该表征中重建原始输入。
• 通过随机梯度下降最小化损失，噪声调度在各训练周期中应用，以引导特征层次结构的学习。
• 该方法在图像和文本数据上进行了实证验证，与在固定噪声水平下训练的标准去噪自编码器进行性能比较。

实验结果

研究问题

• RQ1 在训练过程中采用递减噪声调度的去噪自编码器，是否能实现优于固定噪声训练的表征学习？
• RQ2 先学习粗粒度特征、再学习细粒度特征，是否能提升下游分类任务的性能？
• RQ3 ScheDA中的多尺度特征学习与在最优单噪声水平下训练的标准去噪自编码器相比，其量化表现如何？
• RQ4 与单噪声训练相比，该调度训练过程在多大程度上能导致学习到更丰富的滤波器集合？

主要发现

• ScheDA在图像和文本分类任务上均优于在单一最优噪声水平下训练的标准去噪自编码器。
• ScheDA学习到的表征在下游监督任务上表现出更低的测试错误率，优于标准去噪自编码器学习到的表征。
• 在监督微调后，最佳的ScheDA模型在CIFAR-10数据集上实现了排列不变方法中的最低报告错误率。
• ScheDA学习到的滤波器与在最终噪声水平下训练的标准去噪自编码器的滤波器在定性上有所不同，表明其学习到了不同的特征层次结构。
• 尽管在最终噪声水平下训练的标准去噪自编码器可能具有更低的重建误差，但ScheDA仍实现了更好的分类性能，表明其特征质量更优。
• 一个包含两个独立噪声水平（ν = 0.2 和 ν = 0.4）的复合去噪自编码器性能几乎与ScheDA相当，表明即使没有连续调度，多噪声训练也具有显著效果。