[论文解读] Novel Class Discovery: an Introduction and Key Concepts

Colin Troisemaine, Vincent Lemaire+4 more|arXiv (Cornell University)|Feb 22, 2023

Machine Learning and Algorithms被引用 4

一句话总结

本文对新颖类别发现（Novel Class Discovery, NCD）进行了全面综述，这是一种弱监督学习设定，模型在训练过程中从已知类别的有标签数据和未知类别的无标签数据中学习。文章基于知识迁移方式——两阶段与单阶段学习——提出了NCD方法的分类体系，强调了伪标签法、自监督学习和对比学习等关键技术，同时区分了NCD与零样本学习、开放世界学习等相近领域的差异。

ABSTRACT

Novel Class Discovery (NCD) is a growing field where we are given during training a labeled set of known classes and an unlabeled set of different classes that must be discovered. In recent years, many methods have been proposed to address this problem, and the field has begun to mature. In this paper, we provide a comprehensive survey of the state-of-the-art NCD methods. We start by formally defining the NCD problem and introducing important notions. We then give an overview of the different families of approaches, organized by the way they transfer knowledge from the labeled set to the unlabeled set. We find that they either learn in two stages, by first extracting knowledge from the labeled data only and then applying it to the unlabeled data, or in one stage by conjointly learning on both sets. For each family, we describe their general principle and detail a few representative methods. Then, we briefly introduce some new related tasks inspired by the increasing number of NCD works. We also present some common tools and techniques used in NCD, such as pseudo labeling, self-supervised learning and contrastive learning. Finally, to help readers unfamiliar with the NCD problem differentiate it from other closely related domains, we summarize some of the closest areas of research and discuss their main differences.

研究动机与目标

• 正式定义新颖类别发现（NCD）问题并明确其设定，将其与零样本学习、开放世界学习等相近领域区分开来。
• 根据知识从有标签已知类别向无标签未知数据的迁移方式，将现有NCD方法分类为两阶段与单阶段框架。
• 识别并解释NCD中常用的核心技术，如伪标签法、自监督学习和对比学习。
• 阐明NCD与密切相关任务（如开放集识别、分布外检测和广义类别发现）之间的区别。
• 指出当前开放挑战，包括统一基准的缺乏、聚类数量的自动估计，以及NCD方法在非图像数据类型中的适应性问题。

提出的方法

• 基于知识迁移策略提出NCD方法的分类体系：两阶段（先从已知类别学习，再应用于未知类别）与单阶段（对两类数据联合学习）。
• 回顾各类方法的代表性工作，强调其如何利用有标签数据提升对无标签未知类别的聚类性能。
• 引入并解释关键技术，如伪标签法，即利用模型对无标签数据的预测结果作为监督信号，以及对比学习以优化特征表示。
• 应用自监督学习预训练以提升特征质量，尤其在基于图像的NCD中，通过数据增强和不变性学习实现。
• 利用基于图结构和谱聚类的原理，在语义一致性至关重要的场景中提升聚类质量。
• 提出一种两阶段流程作为基线：首先使用开放集识别方法检测未知样本，然后通过NCD技术进行聚类。

Figure 1: The open-world scenario, where new classes appear during inference.

实验结果

研究问题

• RQ1 新颖类别发现与零样本学习、开放世界学习及分布外检测等相关范式有何本质区别？
• RQ2 NCD中的主要方法族有哪些？两阶段与单阶段方法在性能与过拟合风险方面如何比较？
• RQ3 自监督学习与对比学习技术在多大程度上能提升未知类别发现的特征表示能力？
• RQ4 将NCD方法适配至非图像数据（如表格数据或文本数据）面临的主要挑战是什么？当前基于图像的技术如何实现泛化？
• RQ5 未知类别数量如何实现自动估计？该假设对NCD性能有何影响？

主要发现

• 尽管两阶段方法初期较受欢迎，但单阶段NCD方法因在已知类别上过拟合风险更低，已基本取代两阶段方法。
• 仅依赖无监督聚类在复杂数据集上表现不佳，原因在于其对聚类形状、相似性度量和数据分布的假设，常导致模型根据图像颜色等虚假特征分组，而非语义内容。
• 在基于图像的NCD中，自监督学习与对比学习技术显著提升了特征表示质量，从而实现对未知类别的更优聚类。
• 伪标签法是单阶段NCD框架中的关键组件，其准确性对整体性能影响显著，表明通过更优的标签策略仍有改进空间。
• 该领域仍主要聚焦于图像数据，原因在于其依赖图像特异性技术（如数据增强和CNN架构），在其他模态（如文本或表格）中的扩展仍有限。
• 亟需统一的基准和标准化的评估协议，因为数据集划分与类别划分方式显著影响NCD问题的难度及模型性能比较。

Figure 2: The Novel Class Discovery scenario, where both labeled data of known classes and unlabeled data of unknown classes are available during training.