[论文解读] Winner-Take-All Autoencoders

Alireza Makhzani, Brendan J. Frey|arXiv (Cornell University)|Sep 9, 2014

Advanced Neural Network Applications参考文献 21被引用 174

一句话总结

本文提出了一种获胜者通吃（WTA）自编码器，通过小批量统计量强制实施生命周期和空间稀疏性，以无监督方式学习深度、分层且平移不变的稀疏表征。该方法在 MNIST、CIFAR-10 和 SVHN 数据集上实现了具有竞争力的分类准确率，且超参数调优极少，训练速度优于传统稀疏自编码器。

ABSTRACT

In this paper, we propose a winner-take-all method for learning hierarchical sparse representations in an unsupervised fashion. We first introduce fully-connected winner-take-all autoencoders which use mini-batch statistics to directly enforce a lifetime sparsity in the activations of the hidden units. We then propose the convolutional winner-take-all autoencoder which combines the benefits of convolutional architectures and autoencoders for learning shift-invariant sparse representations. We describe a way to train convolutional autoencoders layer by layer, where in addition to lifetime sparsity, a spatial sparsity within each feature map is achieved using winner-take-all activation functions. We will show that winner-take-all autoencoders can be used to to learn deep sparse representations from the MNIST, CIFAR-10, ImageNet, Street View House Numbers and Toronto Face datasets, and achieve competitive classification performance.

研究动机与目标

• 开发一种无监督深度学习方法，无需标注数据即可学习强大、分层的稀疏表征。
• 解决传统稀疏自编码器的局限性，例如对超参数调优的敏感性以及难以实现高稀疏性的问题。
• 通过同时具备生命周期和空间局部化的获胜者通吃稀疏性约束，实现高效端到端训练深度自编码器。
• 在标注数据有限的半监督设置中，证明 WTA 自编码器的有效性。

提出的方法

• 全连接 WTA 自编码器通过在小批量中仅保留每个隐藏单元的前 k% 最大激活值，其余置零，从而在前向传播中强制实现生命周期稀疏性。
• 反向传播仅通过非零（获胜）激活值进行，从而实现高效训练，无需迭代优化。
• 卷积 WTA 自编码器通过在每个特征图内使用局部获胜者通吃操作，将生命周期稀疏性和空间稀疏性相结合。
• 编码器使用 ReLU 激活，随后进行 top-k 稀疏化，而解码器为线性层，从而支持端到端反向传播。
• 堆叠式 WTA 自编码器采用逐层训练方式，每一层在前一层固定表征的基础上进行训练。
• 对于 RBM 变体，在对比散度的正向阶段应用 WTA，即在采样前对小批量中的隐藏单元概率进行稀疏化。

实验结果

研究问题

• RQ1 是否可以使用获胜者通吃稀疏性约束在无需迭代优化或复杂超参数调优的情况下训练深度自编码器？
• RQ2 同时强制实施生命周期和空间稀疏性是否能产生比标准稀疏编码更具解耦性和平移不变性的特征？
• RQ3 WTA 自编码器在基准数据集上的性能与当前最先进的无监督和半监督方法相比如何？
• RQ4 WTA 自编码器在标签数据较少的场景下（如半监督学习）是否具有良好的泛化能力？

主要发现

• CONV-WTA 自编码器学习到多样化的、平移不变的滤波器，例如点检测器和角点检测器，而基于图像块的方法则产生依赖位置的 Gabor 类似滤波器。
• 在 CIFAR-10 上，使用 256 和 1024 个特征图的堆叠式 CONV-WTA 自编码器仅使用无监督特征和 SVM 即达到 80.1% 的准确率，优于浅层方法。
• 该方法在性能上与当前最先进的无监督模型相当，例如使用 NOMP 和数据平均方法达到 82.9% 的准确率，同时训练更快、更易调优。
• 即使在高稀疏性水平（例如 5%）下，WTA 自编码器也未出现神经元死亡问题，因为所有隐藏单元均保持一致的权重更新。
• 在半监督设置中，该方法在标签数据有限的情况下表现出色，证明其在低资源场景下的实用性。
• WTA-RBM 变体在 MNIST 上学习到更长的数字笔画，相比标准 RBM 提升了分类准确率，稀疏率可达 30%。