[论文解读] ORDisCo: Effective and Efficient Usage of Incremental Unlabeled Data for Semi-supervised Continual Learning

Liyuan Wang, Kuo Yang+4 more|arXiv (Cornell University)|Jan 2, 2021

Domain Adaptation and Few-Shot Learning被引用 8

一句话总结

ORDisCo 提出了一种新颖的半监督持续学习（SSCL）框架，通过联合训练分类器与条件生成对抗网络（conditional GAN），有效且高效地利用增量的未标记数据。通过采用生成样本的在线回放机制与判别器一致性正则化，ORDisCo 减轻了未标记数据的灾难性遗忘问题，在 SVHN、CIFAR10 和 Tiny-ImageNet 上实现了最先进性能，显著优于强基线方法。

ABSTRACT

Continual learning usually assumes the incoming data are fully labeled, which might not be applicable in real applications. In this work, we consider semi-supervised continual learning (SSCL) that incrementally learns from partially labeled data. Observing that existing continual learning methods lack the ability to continually exploit the unlabeled data, we propose deep Online Replay with Discriminator Consistency (ORDisCo) to interdependently learn a classifier with a conditional generative adversarial network (GAN), which continually passes the learned data distribution to the classifier. In particular, ORDisCo replays data sampled from the conditional generator to the classifier in an online manner, exploiting unlabeled data in a time- and storage-efficient way. Further, to explicitly overcome the catastrophic forgetting of unlabeled data, we selectively stabilize parameters of the discriminator that are important for discriminating the pairs of old unlabeled data and their pseudo-labels predicted by the classifier. We extensively evaluate ORDisCo on various semi-supervised learning benchmark datasets for SSCL, and show that ORDisCo achieves significant performance improvement on SVHN, CIFAR10 and Tiny-ImageNet, compared to strong baselines.

研究动机与目标

• 为解决半监督持续学习（SSCL）中增量数据部分标注时未标记数据的灾难性遗忘问题。
• 开发一种方法，以最小的存储与计算成本，有效且高效地利用大规模未标记数据。
• 通过联合训练分类器与条件生成对抗网络（conditional GAN），同时提升分类准确率与条件图像生成质量。
• 引入一种机制，选择性地稳定关键判别器参数，以保留旧未标记数据及其伪标签的知识。

提出的方法

• ORDisCo 将学习过程建模为分类器与条件生成对抗网络之间的极小极大对抗博弈，实现分类与生成任务的联合优化。
• 采用从条件生成器采样数据并在线回放至分类器的机制，实现时间与存储效率的未标记数据利用。
• 引入判别器一致性正则化，以稳定对区分旧未标记数据及其伪标签预测至关重要的参数，降低遗忘程度。
• 该框架适用于新实例与新类两种场景，模拟了具有部分标注的现实增量学习设置。
• 采用联合训练策略，由分类器为未标记数据提供伪标签，以提升条件生成对抗网络的训练效果。
• 设计为即插即用的解决方案，兼容多种用于分类与条件生成的半监督学习方法。

实验结果

研究问题

• RQ1 是否可以在不发生灾难性遗忘的前提下，有效利用增量的未标记数据于半监督持续学习中？
• RQ2 在线回放生成样本如何提升 SSCL 中的分类与生成性能？
• RQ3 判别器一致性在保留旧未标记数据及其伪标签知识方面起到何种作用？
• RQ4 ORDisCo 与强基线方法 SMB、SMB+UMB 和 SMB+UMB+UC 相比，在不同数据集上的准确率与鲁棒性表现如何？
• RQ5 ORDisCo 是否能在从部分标注数据中持续学习的同时，保持高质量的条件图像生成？

主要发现

• 在半监督设置下，ORDisCo 在 SVHN 上达到 94.38% 的测试准确率，在 CIFAR10 上达到 87.37%，显著优于现有持续学习方法。
• 在 SVHN-1 上，ORDisCo 在任务1达到 82.72% 准确率，任务5达到 53.79%，优于 SMB（81.80% 和 35.46%）及其他基线方法。
• 在 CIFAR10-5 上，ORDisCo 在任务1达到 95.60% 准确率，任务5达到 65.91%，超过 SMB（95.78% 和 55.12%）及其他基线方法。
• 在 Tiny-ImageNet-5 上，ORDisCo 在任务1达到 88.50% 准确率，任务5达到 71.07%，优于 SMB（88.50% 和 65.47%）及其他变体。
• ORDisCo 的条件图像生成质量显著优于 SMB 基线，从第六批开始即可生成高保真度样本。
• 判别器一致性正则化有效缓解了由低质量条件样本引发的性能下降，尤其在早期增量阶段表现显著。