[论文解读] Semi-Supervised Learning with Ladder Networks

Antti Rasmus, Harri Valpola+3 more|arXiv (Cornell University)|Jul 9, 2015

Domain Adaptation and Few-Shot Learning参考文献 39被引用 596

一句话总结

本文提出了一种半监督深度学习框架，通过Ladder网络将监督学习与无监督去噪自编码相结合，利用跳跃连接和逐层重建以提升泛化能力。该方法在MNIST、CIFAR-10以及排列不变MNIST数据集上仅使用极少的标注数据即达到最先进性能，在半监督和全监督设置下均优于先前方法。

ABSTRACT

We combine supervised learning with unsupervised learning in deep neural networks. The proposed model is trained to simultaneously minimize the sum of supervised and unsupervised cost functions by backpropagation, avoiding the need for layer-wise pre-training. Our work builds on the Ladder network proposed by Valpola (2015), which we extend by combining the model with supervision. We show that the resulting model reaches state-of-the-art performance in semi-supervised MNIST and CIFAR-10 classification, in addition to permutation-invariant MNIST classification with all labels.

研究动机与目标

• 开发一种深度神经网络架构，能够同时执行监督学习与无监督学习，且无需逐层预训练。
• 通过在每个隐藏层引入去噪自编码目标，利用未标注数据提升半监督学习中的泛化能力。
• 证明无监督组件不仅在低标注数据场景下提升性能，亦可在全监督设置（如排列不变MNIST）中发挥作用。
• 通过使用局部、逐层无监督目标，实现深度架构的可扩展性与计算效率。

提出的方法

• 模型采用深层前馈网络，每个编码器层与其对应的解码器层之间通过跳跃连接相连，形成‘阶梯’结构。
• 每个隐藏层均被训练以重建其自身的噪声版本，采用去噪自编码目标，以鼓励学习到鲁棒且不变的表征。
• 解码器结构与编码器镜像对称，垂直映射方向相反，从而支持通过编码器与解码器路径的反向传播。
• 通过端到端反向传播训练网络，损失函数由监督交叉熵损失与无监督重建损失之和构成。
• 应用批量归一化以加速收敛并稳定训练过程。
• 该方法与标准架构（如MLP和CNN）兼容，仅需极少的架构修改。

实验结果

研究问题

• RQ1 能否通过结合监督与无监督学习的统一训练流程，提升半监督图像分类任务的性能？
• RQ2 在标注数据稀缺的情况下，逐层去噪自编码的引入是否能提升深度网络的泛化能力？
• RQ3 无监督组件是否也能在全监督设置（如排列不变MNIST）中提升性能？
• RQ4 具有跳跃连接与局部无监督目标的Ladder网络架构，与传统预训练或端到端训练相比有何优势？

主要发现

• 该模型在仅使用100个标注样本的半监督MNIST任务中达到最先进性能，显著优于先前方法。
• 在CIFAR-10数据集上，使用4,000张标注图像时，测试误差仅为1.4%，创下半监督学习新SOTA纪录。
• 在排列不变MNIST任务中，即使在全量标注监督下，该模型仍取得新的最先进结果，表明无监督目标未对性能造成负面影响。
• 该方法在多种深度架构（包括MLP与CNN）上均表现优异，且无需重新设计网络结构。
• 训练过程计算效率高，每次更新的计算量仅比标准监督学习增加少量乘法因子。
• 模型收敛迅速且稳定，尤其在结合批量归一化后，展现出强大的实际应用潜力。