[论文解读] Realistic Evaluation of Deep Semi-Supervised Learning Algorithms

Avital Oliver, Augustus Odena+3 more|arXiv (Cornell University)|Apr 24, 2018

Domain Adaptation and Few-Shot Learning参考文献 50被引用 209

一句话总结

本论文提供深度 SSL 方法的统一重实现和现实世界评估，在公平调参下对比强基线的增益较小，并强调迁移学习和分布不匹配效应。

ABSTRACT

Semi-supervised learning (SSL) provides a powerful framework for leveraging unlabeled data when labels are limited or expensive to obtain. SSL algorithms based on deep neural networks have recently proven successful on standard benchmark tasks. However, we argue that these benchmarks fail to address many issues that these algorithms would face in real-world applications. After creating a unified reimplementation of various widely-used SSL techniques, we test them in a suite of experiments designed to address these issues. We find that the performance of simple baselines which do not use unlabeled data is often underreported, that SSL methods differ in sensitivity to the amount of labeled and unlabeled data, and that performance can degrade substantially when the unlabeled dataset contains out-of-class examples. To help guide SSL research towards real-world applicability, we make our unified reimplemention and evaluation platform publicly available.

研究动机与目标

• 评估深度 SSL 方法在现实世界中的适用性，超越标准基准。
• 提供统一、可复现的重实现，以实现跨 SSL 技术的公平比较。
• 研究影响 SSL 性能的因素：标注/未标注数据量、类别分布不匹配以及迁移学习。
• 评估在现实条件下 SSL 是否始终优于高质量的有监督基线。
• 为在实践中评估 SSL 方法提供具体建议。

提出的方法

• 创建统一的 Wide ResNet (WRN-28-2) 及训练设置，以公平地比较 SSL 方法。
• 超参数优化（每种方法 1000 次试验），随后在方法之间使用统一且手工调整的超参数。
• 在 CIFAR-10（4000 个标签）和 SVHN（1000 个标签）上使用标准未标注池进行评估。
• 实现并比较 Pi-Model、Mean Teacher、Virtual Adversarial Training (VAT)、VAT+EntMin 和伪标签学习。
• 包含基线：使用相同模型的完全监督，以及从 ImageNet 到 CIFAR-10 的迁移学习。
• 系统性研究未标注数据质量（分布不匹配）和数据数量的影响。

实验结果

研究问题

• RQ1 在公共模型和训练流程下，SSL 方法的表现如何？
• RQ2 在现实的超参数调优和基线条件下，SSL 相对于监督基线的增益是否仍然显著？
• RQ3 未标注数据的分布（同域内/跨域）如何影响 SSL 的性能？
• RQ4 改变标注和未标注数据量对 SSL 的有效性有何影响？
• RQ5 从大规模带标签数据进行的迁移学习是否在这些设置中优于 SSL？

主要发现

Dataset	# Labels	Supervised	Pi-Model	Mean Teacher	VAT	VAT + EntMin	Pseudo-Label
CIFAR-10	4000	20.26 ± .38%	16.37 ± .63%	15.87 ± .28%	13.86 ± .27%	13.13 ± .39%	17.78 ± .57%
SVHN	1000	12.83 ± .47%	7.19 ± .27%	5.65 ± .47%	5.63 ± .20%	5.35 ± .19%	7.62 ± .29%

• 在使用统一模型和广泛的超参数调优时，SSL 相对于强有监督基线的增益较小。
• 在 CIFAR-10，4000 标签下，最佳 SSL 方法（VAT + EntMin）实现了 13.13% 的测试误差，对比监督方法 20.26%。
• 在 SVHN，1000 标签下，VAT 的测试误差为 5.63%，而监督为 12.83%。
• 从 ImageNet 到 CIFAR-10 的迁移学习达到 12.09% 的测试误差，超越本研究中的所有 SSL 方法。
• 来自不同类别分布的未标注数据可能会使性能下降，相较于不使用未标注数据。
• SSL 方法的性能随标注和未标注数据量的变化而显著不同；在 SVHN 上，当未标注样本超过约 80k 时，增益趋于稳定。