[论文解读] Neighborhood Contrastive Learning for Novel Class Discovery

Zhun Zhong, Enrico Fini+4 more|arXiv (Cornell University)|Jun 20, 2021

Domain Adaptation and Few-Shot Learning被引用 13

一句话总结

本论文提出邻域对比学习（NCL）用于新类发现（NCD），利用特征空间中的局部邻域作为伪正例，并通过混合有标签和无标签特征生成难负例。该方法实现了最先进性能，在CIFAR-100上聚类准确率提升+13%，在ImageNet上提升+8%。

ABSTRACT

In this paper, we address Novel Class Discovery (NCD), the task of unveiling new classes in a set of unlabeled samples given a labeled dataset with known classes. We exploit the peculiarities of NCD to build a new framework, named Neighborhood Contrastive Learning (NCL), to learn discriminative representations that are important to clustering performance. Our contribution is twofold. First, we find that a feature extractor trained on the labeled set generates representations in which a generic query sample and its neighbors are likely to share the same class. We exploit this observation to retrieve and aggregate pseudo-positive pairs with contrastive learning, thus encouraging the model to learn more discriminative representations. Second, we notice that most of the instances are easily discriminated by the network, contributing less to the contrastive loss. To overcome this issue, we propose to generate hard negatives by mixing labeled and unlabeled samples in the feature space. We experimentally demonstrate that these two ingredients significantly contribute to clustering performance and lead our model to outperform state-of-the-art methods by a large margin (e.g., clustering accuracy +13% on CIFAR-100 and +8% on ImageNet).

研究动机与目标

• 为解决在拥有不相交类别的有标签数据集可用时，从无标签数据中发现新类别的挑战。
• 通过对比学习学习更具判别性的表征，以提升NCD中的聚类性能。
• 通过引入局部邻域样本作为额外伪正例，克服标准对比学习的局限性。
• 通过在特征空间中混合有标签和无标签样本，改进负样本采样，生成更具挑战性的难负例。
• 证明将邻域对比学习与难负例生成相结合，可显著提升基准数据集上的聚类准确率。

提出的方法

• NCL在特征空间中识别查询样本的k近邻（KNNs），并将其视为伪正例，以增强对比学习信号。
• 该方法使用内存库存储特征，并在训练过程中高效检索每个查询的KNN。
• 在两类正样本对上优化对比损失：同一样本的增强视图，以及来自同一语义类别的KNN。
• 通过在特征空间中混合有标签和无标签样本的特征，生成难负样本，从而创建多样化且具有挑战性的负样本。
• 损失函数结合了在增强正例和伪正例上的对比损失，并引入可学习权重以平衡各部分贡献。
• 该框架采用孪生网络与动量编码器进行端到端训练，实现鲁棒的特征学习以支持聚类。

实验结果

研究问题

• RQ1 在嵌入空间中的局部邻域是否可被可靠地用作NCD设置下对比学习的伪正例？
• RQ2 与仅使用两个视图的标准对比学习相比，从样本邻域中引入多个伪正例是否能提升聚类性能？
• RQ3 在特征空间中混合有标签和无标签特征是否能生成有效的难负例，从而改善对比学习？
• RQ4 伪正例的数量与难负例的数量如何影响NCD中的模型性能？
• RQ5 所提出的NCL结合难负例生成是否在标准NCD基准上显著优于现有最先进方法？

主要发现

• 与基线相比，使用伪正例的NCL在CIFAR-100上将聚类准确率提升12.9个百分点，在CIFAR-10上提升5.5个百分点。
• 移除伪正例（NCL w/o PP）会显著降低性能，尤其在CIFAR-10上，准确率下降26.1个百分点。
• 引入难负例生成（HNG）可进一步提升性能，在CIFAR-100上实现+17.2%的准确率增益，并在CIFAR-10上保持+5.5%的增益。
• 伪正例的最优数量约为 |M|/C^u 的一半，其中CIFAR-100的 |M|=2000，C^u=20，对应k1=50。
• 当增强正例损失的权重α=0.2，HNG采用N=5次迭代和k2=400个负样本时，性能最佳。
• 该方法实现了最先进结果，在CIFAR-100和ImageNet基准上均大幅超越先前的SOTA方法。