[论文解读] Stacked What-Where Auto-encoders

Junbo Zhao, Michaël Mathieu+2 more|arXiv (Cornell University)|Jun 8, 2015

Generative Adversarial Networks and Image Synthesis参考文献 34被引用 228

一句话总结

该论文提出堆叠式‘何-在’自编码器（SWWAE），一种统一的深度学习架构，通过在最大池化层中显式建模‘内容’（what）和‘空间位置’（where）表征，无需采样即可整合判别式与生成式路径。该方法在半监督学习基准（如SVHN和STL-10）上取得最先进性能，仅使用1,000个标签时在SVHN上达到23.56%的错误率，在STL-10上达到74.33%的准确率，展现出从少量标注数据中实现强大泛化能力。

ABSTRACT

We present a novel architecture, the "stacked what-where auto-encoders" (SWWAE), which integrates discriminative and generative pathways and provides a unified approach to supervised, semi-supervised and unsupervised learning without relying on sampling during training. An instantiation of SWWAE uses a convolutional net (Convnet) (LeCun et al. (1998)) to encode the input, and employs a deconvolutional net (Deconvnet) (Zeiler et al. (2010)) to produce the reconstruction. The objective function includes reconstruction terms that induce the hidden states in the Deconvnet to be similar to those of the Convnet. Each pooling layer produces two sets of variables: the "what" which are fed to the next layer, and its complementary variable "where" that are fed to the corresponding layer in the generative decoder.

研究动机与目标

• 在单一深度架构中统一监督学习、半监督学习与无监督学习，且训练过程中无需依赖采样。
• 通过引入互补的‘内容’与‘位置’表征，解决自编码器中判别式（多对一）与生成式（一对多）映射之间的不对称性。
• 通过编码器与解码器路径的联合训练，有效利用大量未标注数据与有限标注数据。
• 通过避免基于采样的优化方法（如对比散度），提升模型泛化能力与可扩展性。
• 提供可扩展的、可微分的框架，支持在单一端到端训练过程中同时实现重建与分类目标。

提出的方法

• 该架构采用堆叠式卷积编码器（Convnet）与反卷积解码器（Deconvnet），每个最大池化层输出两个结果：‘内容’（池化后的特征值）与‘位置’（最大值的空间位置）。
• ‘位置’变量用于生成路径中引导无池化与重建过程，实现无需采样的精确重建。
• 在每一层应用重建损失，以约束解码器的隐藏状态与编码器保持一致，确保前向与反向路径的一致性。
• 通过标准反向传播进行训练，通过固定或解除顶层输出（如监督模式下固定标签，无监督模式下保持未约束）实现模态切换。
• 框架支持所有层的联合优化，无需交替优化或采样，可在大规模数据集上实现高效训练。
• 通过引入空间批量归一化与VGG风格的深层架构，进一步提升在CIFAR-10与STL-10等大规模基准上的性能。

实验结果

研究问题

• RQ1 能否在无需采样的单一训练流程下，使深度自编码器架构统一监督学习、半监督学习与无监督学习？
• RQ2 如何在自编码器中解决判别式（多对一）与生成式（一对多）映射之间的固有不对称性？
• RQ3 显式建模‘内容’与‘位置’表征是否能提升泛化能力并减少对噪声采样方法的依赖？
• RQ4 通过可微分的重建目标利用大量未标注数据，能否在半监督学习基准上实现显著性能提升？
• RQ5 与DBMs或RBMs等模型相比，训练过程中无采样是否能提升可扩展性与收敛性？

主要发现

• 在仅使用1,000张标注图像的SVHN数据集上，SWWAE达到23.56%的测试错误率，优于相同设置下的先前最先进方法。
• 在SVHN的完全监督设置下，SWWAE将测试错误率从基线卷积网络的5.89%降低至4.94%，展现出更强的泛化能力。
• 在STL-10数据集上，SWWAE达到74.33%的准确率，超过基线卷积网络（57.45%），并接近最先进结果75.4%。
• 在CIFAR-100上，SWWAE达到69.12%的准确率，优于相同实验协议下已发表的最佳单模型结果68.55%。
• 模型展现出强大的可扩展性与稳定性，由于采用端到端反向传播且无需对比散度，未受采样噪声影响，性能无下降。
• 空间批量归一化的引入进一步提升了性能，尤其在VGG风格等深层网络中表现显著。