[论文解读] Temporal Ensembling for Semi-Supervised Learning

Samuli Laine, Timo Aila|arXiv (Cornell University)|Oct 7, 2016

Advanced Neural Network Applications参考文献 30被引用 1,496

一句话总结

该论文介绍自我集成方法（Pi-model 和 temporal ensembling），它们利用跨训练周期和增强的集成预测作为未标记数据的目标，获得了最先进的半监督结果。

ABSTRACT

In this paper, we present a simple and efficient method for training deep neural networks in a semi-supervised setting where only a small portion of training data is labeled. We introduce self-ensembling, where we form a consensus prediction of the unknown labels using the outputs of the network-in-training on different epochs, and most importantly, under different regularization and input augmentation conditions. This ensemble prediction can be expected to be a better predictor for the unknown labels than the output of the network at the most recent training epoch, and can thus be used as a target for training. Using our method, we set new records for two standard semi-supervised learning benchmarks, reducing the (non-augmented) classification error rate from 18.44% to 7.05% in SVHN with 500 labels and from 18.63% to 16.55% in CIFAR-10 with 4000 labels, and further to 5.12% and 12.16% by enabling the standard augmentations. We additionally obtain a clear improvement in CIFAR-100 classification accuracy by using random images from the Tiny Images dataset as unlabeled extra inputs during training. Finally, we demonstrate good tolerance to incorrect labels.

研究动机与目标

• 激发半监督学习，其中只有很小一部分数据被标记。
• 提出利用 dropout 和输入增强来为未标记数据生成可靠目标的自我集成方法。
• 展示在标准基准数据集（SVHN、CIFAR-10）上比以往方法有更高的分类准确率。
• 展示对标签噪声的容忍性以及在完全有监督情形中的潜在增益。
• 讨论实际考虑因素及与相关半监督架构的联系。

提出的方法

• 提出两种自我集成实现：Pi-model 和 temporal ensembling。
• Pi-model 强制同一输入在不同 dropout 与增强下的两个输出的一致性。
• 时序集成跨多个先前训练周期聚合预测，形成未标记数据的稳定目标。
• 无监督损失对当前预测与集合目标之间使用全输出向量的均方误差进行比较，乘以随时间递增的权重 w(t)。
• 基于 dropout 的正则化和输入增强对获得有意义的集成目标至关重要。
• 时序集成用动量更新集合预测 Z，并应用偏置校正形成目标 tilde{z}。

实验结果

研究问题

• RQ1 当标签稀缺时，是否通过多轮训练周期和增强的自我集成可以改善半监督学习？
• RQ2 Pi-model 与 temporal ensembling 在准确性和训练效率方面的比较？
• RQ3 dropout、增强和无监督损失的逐步增加在避免退化解中的作用？
• RQ4 这些方法是否可扩展到完全监督设置或对噪声标签具有容忍性？

主要发现

• Pi-model 与时序集成在 SVHN 与 CIFAR-10 基准上超越了现有半监督方法。
• SVHN 有 500 标签，非增强设置下错误率从 18.44% 降至 7.05%。
• CIFAR-10 有 4000 标签，非增强设置下错误率从 18.63% 降至 16.55%。
• 启用标准增强后错误率进一步降至 5.12%（SVHN）和 12.16%（CIFAR-10）。
• 时序集成提供更快的训练速度，在相同轮次下可能比 Pi-model 获得更好结果。
• 这些方法对不正确标签有容忍性，并与现有半监督框架（如 Ladder Networks 与自举法）相关。