[论文解读] Multi-Task Curriculum Framework for Open-Set Semi-Supervised Learning

Qing Yu, Daiki Ikami+2 more|arXiv (Cornell University)|Jul 22, 2020

Domain Adaptation and Few-Shot Learning参考文献 34被引用 6

一句话总结

本文提出了一种用于开放集半监督学习的多任务课程学习框架，通过交替优化联合训练分布外（OOD）检测器与分类模型。通过迭代优化 OOD 分数与网络参数，该方法可过滤噪声 unlabeled 数据，即使 unlabeled 数据中包含 OOD 样本，也能实现高性能的半监督学习。该方法在多个基准测试中达到最先进性能，OOD 检测的 AUROC 分数超过 99.8%。

ABSTRACT

Semi-supervised learning (SSL) has been proposed to leverage unlabeled data for training powerful models when only limited labeled data is available. While existing SSL methods assume that samples in the labeled and unlabeled data share the classes of their samples, we address a more complex novel scenario named open-set SSL, where out-of-distribution (OOD) samples are contained in unlabeled data. Instead of training an OOD detector and SSL separately, we propose a multi-task curriculum learning framework. First, to detect the OOD samples in unlabeled data, we estimate the probability of the sample belonging to OOD. We use a joint optimization framework, which updates the network parameters and the OOD score alternately. Simultaneously, to achieve high performance on the classification of in-distribution (ID) data, we select ID samples in unlabeled data having small OOD scores, and use these data with labeled data for training the deep neural networks to classify ID samples in a semi-supervised manner. We conduct several experiments, and our method achieves state-of-the-art results by successfully eliminating the effect of OOD samples.

研究动机与目标

• 为解决真实但研究不足的开放集半监督学习场景，即未标记数据中包含未出现在标记数据中的分布外（OOD）样本。
• 克服现有 SSL 方法在未标记数据中包含 OOD 样本时性能下降的局限性，这些样本可能损害模型性能。
• 开发一种联合学习框架，通过课程学习策略，同时检测 OOD 样本并在分布内（ID）样本上训练鲁棒分类器。
• 通过利用未标记数据训练检测器，提升在低样本设置下 OOD 检测的性能，即使标记数据稀缺。

提出的方法

• 该方法采用联合优化框架，交替更新深度神经网络参数与每个样本的 OOD 分数，初始时将标记数据视为分布内（ID），所有未标记数据视为 OOD。
• 为标记样本分配初始 OOD 分数为 0，未标记样本为 1，随后通过迭代优化过程修正噪声分配。
• 通过仅选择 OOD 分数较低（即具有较高 ID 可能性）的未标记样本参与半监督训练，应用课程学习策略。
• 将 OOD 检测与半监督分类整合为多任务学习问题，实现共享表征学习。
• 采用 MixMatch 作为基础 SSL 方法，在过滤后的未标记 ID 数据与标记数据上训练分类器。
• 使用 Otsu 阈值法自动确定基于学习到的 OOD 分数来分离 ID 与 OOD 样本的阈值。

实验结果

研究问题

• RQ1 当标记数据有限时，联合优化框架能否有效检测未标记数据中的 OOD 样本？
• RQ2 在低样本设置下，网络参数与 OOD 分数之间的交替优化如何提升检测精度？
• RQ3 基于 OOD 分数的课程学习在存在 OOD 样本时，能在多大程度上提升半监督分类性能？
• RQ4 在开放集场景下，该方法与现有 OOD 检测与 SSL 方法相比表现如何？
• RQ5 当未标记数据中包含与 ID 类似但不完全相同的 OOD 样本（如 CIFAR-10 中的动物类别）时，该框架是否仍能保持高性能？

主要发现

• 所提方法在开放集半监督学习基准上达到最先进性能，显著优于现有方法。
• 在 CIFAR-10 与 SVHN 数据集上，该方法在 OOD 检测中取得 98.86% 至 100.00% 的 AUROC 分数，显著优于基线方法（如 Hendrycks & Gimpel 为 50.92%，ODIN 为 54.54%）。
• 在仅 250 个标记样本的设置下，测试准确率从基线的 82.42% 提升至 86.44%，同时 OOD 检测的精确率保持 98.48%，召回率达到 99.22%。
• 即使 OOD 样本与 ID 类别相似（如 CIFAR-10 中的动物类别），该方法仍比基线高出 2% 性能优势，并在 OOD 检测中实现 94% 精确率与 98% 召回率。
• 该方法在 SSL 准确率与 OOD 检测性能上均优于同期方法（UASD），测试准确率为 86.44% 对比 83.53%，检测精确率为 99.22% 对比 96.84%。
• 通过 Otsu 阈值法成功分离 ID 与 OOD 样本，如 OOD 分数直方图所示，证实了有效样本过滤。