[论文解读] Open-World Semi-Supervised Learning

Kaidi Cao, Maria Brbić+1 more|arXiv (Cornell University)|Feb 6, 2021

Domain Adaptation and Few-Shot Learning参考文献 42被引用 48

一句话总结

ORCA 是一个端到端的深度学习框架，用于开放世界半监督学习，在未标记数据中发现新类的同时，能够对已见类进行准确分类，使用不确定性自适应边距来平衡已见类与新类之间的类内方差。

ABSTRACT

A fundamental limitation of applying semi-supervised learning in real-world settings is the assumption that unlabeled test data contains only classes previously encountered in the labeled training data. However, this assumption rarely holds for data in-the-wild, where instances belonging to novel classes may appear at testing time. Here, we introduce a novel open-world semi-supervised learning setting that formalizes the notion that novel classes may appear in the unlabeled test data. In this novel setting, the goal is to solve the class distribution mismatch between labeled and unlabeled data, where at the test time every input instance either needs to be classified into one of the existing classes or a new unseen class needs to be initialized. To tackle this challenging problem, we propose ORCA, an end-to-end deep learning approach that introduces uncertainty adaptive margin mechanism to circumvent the bias towards seen classes caused by learning discriminative features for seen classes faster than for the novel classes. In this way, ORCA reduces the gap between intra-class variance of seen with respect to novel classes. Experiments on image classification datasets and a single-cell annotation dataset demonstrate that ORCA consistently outperforms alternative baselines, achieving 25% improvement on seen and 96% improvement on novel classes of the ImageNet dataset.

研究动机与目标

• 将半监督学习推广到包含已见类与未见类的开放世界设置。
• 开发一个端到端的方法，可以在事先不知道新类数量的情况下发现新类。
• 通过基于不确定性的自适应边距来控制类内方差，从而降低对已见类的偏倚。
• 通过额外的分类头实现对已见类的联合分类以及对新类的聚类。
• 在分布变化、未知新类数量以及不同的预训练策略下展示鲁棒性。

提出的方法

• 引入 ORCA，一个具有嵌入骨干网络和多分类头的端到端框架（每个已见类一个头，另外为潜在的新类设立额外的头）。
• 使用不确定性自适应边距来调节监督损失，以平衡已见类和新类之间的学习速度，基于来自未标记数据的不确定性估计。
• 定义一个三项式目标：带自适应边距的监督损失、从未标记数据生成伪标签的成对目标，以及防止崩溃到单一类别的正则化项。
• 使用聚焦于正样本对的成对相似性目标来促进同一类别的聚集，伪标签来自特征空间中最近邻的结果。
• 用 KL 散度对标签分布进行正则化，使其趋向先验分布或最大熵，以避免退化解。
• 可选地利用自监督预训练（SimCLR）来在开放世界 SSL 训练之前提升表征。

实验结果

研究问题

• RQ1 开放世界半监督学习是否能够在从未标记数据中有效分类已见类，同时发现并对未见类进行聚类？
• RQ2 如何利用不确定性在训练过程中自适应边距，以缩小已见类与新类之间的类内方差差距？
• RQ3 带有多头和伪标签引导的端到端框架在开放世界 SSL 中是否优于临时的鲁棒 SSL 或传统的新类发现基线？
• RQ4 ORCA 对未知的新类数量以及已见数据与新数据之间的分布变化是否具有鲁棒性，包括非平衡数据集和不同的预训练机制？

主要发现

• ORCA 在各数据集上持续优于扩展基线，在已见类和新类上均取得显著提升（例如 ImageNet 上对已见类提升 25%，对新类提升 96%）。
• 不确定性自适应边距有效缩小已见类与新类之间的类内方差差距，提升伪标签质量和整体准确率。
• 在新类数量未知的情况下，ORCA 仍可裁剪未使用的头部并取得强劲性能，表明对新类数量的鲁棒性。
• 消融研究表明，移除自适应边距或正则化会损害性能，证实了各组成部分的重要性。
• 自监督预训练（SimCLR）可用于提升 ORCA 的性能，虽然结果在有无预训练的情况下都有报道。