[论文解读] Regularization With Stochastic Transformations and Perturbations for Deep Semi-Supervised Learning

Mehdi S. M. Sajjadi, Mehran Javanmardi+1 more|arXiv (Cornell University)|Jun 14, 2016

Domain Adaptation and Few-Shot Learning参考文献 37被引用 551

一句话总结

本论文提出一种无监督损失，通过对同一样本的多次随机传递的预测差异进行最小化，以正则化CNN，从而在标注数据有限的情况下实现改进的半监督学习。

ABSTRACT

Effective convolutional neural networks are trained on large sets of labeled data. However, creating large labeled datasets is a very costly and time-consuming task. Semi-supervised learning uses unlabeled data to train a model with higher accuracy when there is a limited set of labeled data available. In this paper, we consider the problem of semi-supervised learning with convolutional neural networks. Techniques such as randomized data augmentation, dropout and random max-pooling provide better generalization and stability for classifiers that are trained using gradient descent. Multiple passes of an individual sample through the network might lead to different predictions due to the non-deterministic behavior of these techniques. We propose an unsupervised loss function that takes advantage of the stochastic nature of these methods and minimizes the difference between the predictions of multiple passes of a training sample through the network. We evaluate the proposed method on several benchmark datasets.

研究动机与目标

• 在标注数据稀缺时，动机：利用未标注数据来提高CNN的泛化能力。
• 提出一种无监督损失，在训练过程中利用非确定性变换和扰动。
• 将变换/稳定性损失与互斥性损失结合，以在无标签的情况下引导学习。
• 在多种数据集和架构上通过两种CNN实现验证其有效性。

提出的方法

• 定义一个无监督损失，最小化在对同一样本进行随机变换 T^j(x_i) 和网络扰动后得到的多次传递的预测之间的均方差。
• 将变换/稳定性损失 l_U^TS 表示为所有传递对之间平方差之和（方程1）。
• 引入互斥性损失 l_U^ME，以防止出现平凡的预测向量（方程2）。
• 将损失组合为 l_U = λ1 l_U^ME + λ2 l_U^TS（方程3）。
• 通过在小批量中包含复制样本，展示其与有监督损失及批量训练的兼容性。
• 讨论两种CNN实现（cuda-convnet AlexNet 变体和使用分数最大池的稀疏卷积网络），以及如何根据框架约束选择 n（每个样本的传递次数，n=4 或 n=5）。

实验结果

研究问题

• RQ1 一个在随机变换和网络扰动下强制一致性的无监督损失是否能提升半监督CNN的性能？
• RQ2 在标注稀缺的情况下，将互斥性损失与变换/稳定性损失耦合对学习有何影响？
• RQ3 所提出的损失是否在数据集（MNIST、SVHN、NORB、CIFAR-10/100、ImageNet）和架构之间具备泛化性？
• RQ4 传递次数和数据增强策略对收敛性和准确性有何影响？

主要发现

• 在多数据集上，当标记数据有限时，变换/稳定性损失和互斥性损失能一致提升测试准确性。
• 两者无监督损失的结合比单独任一损失带来更大的增益，尤其在标注集非常小时。
• 使用复制的传递显著降低误差率（例如在 SVHN 和 NORB 上使用 1%–5% 标注数据时取得显著增益）。
• 在结合数据增强和 dropout/RP 时，该方法在若干基准数据集（如 CIFAR-10/100、ImageNet）上达到有竞争力或最先进的结果。