[论文解读] OpenMix: Reviving Known Knowledge for Discovering Novel Visual Categories in An Open World

Zhun Zhong, Linchao Zhu+4 more|arXiv (Cornell University)|Apr 12, 2020

Domain Adaptation and Few-Shot Learning被引用 5

一句话总结

本文提出 OpenMix，一种新颖的数据增强方法，通过将已知类别中的有标签样本与新类别中的无标签样本相结合，生成可靠的伪标签，从而提升新类别发现能力。通过混合这两种数据类型及其联合标签分布，OpenMix 增强了模型的鲁棒性，并在 CIFAR-10、CIFAR-100 和 ImageNet 上实现了最先进性能。

ABSTRACT

In this paper, we tackle the problem of discovering new classes in unlabeled visual data given labeled data from disjoint classes. Existing methods typically first pre-train a model with labeled data, and then identify new classes in unlabeled data via unsupervised clustering. However, the labeled data that provide essential knowledge are often underexplored in the second step. The challenge is that the labeled and unlabeled examples are from non-overlapping classes, which makes it difficult to build the learning relationship between them. In this work, we introduce OpenMix to mix the unlabeled examples from an open set and the labeled examples from known classes, where their non-overlapping labels and pseudo-labels are simultaneously mixed into a joint label distribution. OpenMix dynamically compounds examples in two ways. First, we produce mixed training images by incorporating labeled examples with unlabeled examples. With the benefits of unique prior knowledge in novel class discovery, the generated pseudo-labels will be more credible than the original unlabeled predictions. As a result, OpenMix helps to prevent the model from overfitting on unlabeled samples that may be assigned with wrong pseudo-labels. Second, the first way encourages the unlabeled examples with high class-probabilities to have considerable accuracy. We introduce these examples as reliable anchors and further integrate them with unlabeled samples. This enables us to generate more combinations in unlabeled examples and exploit finer object relations among the new classes. Experiments on three classification datasets demonstrate the effectiveness of the proposed OpenMix, which is superior to state-of-the-art methods in novel class discovery.

研究动机与目标

• 解决在有标签数据来自不相交类别时，从无标签数据中发现新视觉类别所面临的挑战。
• 克服现有方法在无监督聚类过程中对有标签数据利用不足的局限性。
• 提升模型在新类别发现中的泛化能力，并减少对错误伪标签的过拟合。
• 利用有标签数据中的先验知识，为新类别生成更可靠且多样化的训练样本。

提出的方法

• 提出 OpenMix，一种两阶段数据混合策略，将已知类别中的有标签样本与新类别中的无标签样本相结合。
• 将有标签样本和无标签样本的标签与伪标签扩展为联合标签分布，以实现有意义的混合。
• 利用已知类别样本的高置信度标签来稳定混合样本的伪标签，降低新类别预测中的不确定性。
• 将高置信度的无标签样本识别为可靠锚点，并进一步与其他无标签样本混合，以增强特征学习。
• 应用一种改进的 MixUp 风格增强方法，保持标签置信度，提升无监督聚类过程中的模型泛化能力。
• 将 OpenMix 集成到基线聚类框架中，并引入可学习的混合系数 λ₂，该系数在广泛取值范围内均表现鲁棒。

实验结果

研究问题

• RQ1 如何在无监督聚类过程中有效利用来自不相交类别的有标签数据，以实现新类别发现？
• RQ2 混合有标签与无标签样本是否能提升开放集学习中伪标签的可靠性？
• RQ3 将高置信度无标签样本作为锚点是否能增强细粒度视觉类别的发现能力？
• RQ4 像 OpenMix 这样的数据混合策略是否能减少新类别发现中对错误伪标签的过拟合？
• RQ5 与最先进方法相比，OpenMix 在标准基准上的聚类准确率提升了多少？

主要发现

• 在 CIFAR-10 上，OpenMix 实现了 95.3% 的聚类准确率，较之前最先进方法（RS）高出 3.6 个百分点。
• 在 CIFAR-100 上，OpenMix 达到 87.2% 的准确率，显著优于基线（81.2%）和 SOTA 方法如 DTC（72.8%）。
• 在 ImageNet 上，OpenMix 实现 85.7% 的准确率，优于基线（77.1%），并较 SOTA 方法 RS 提高 3.2 个百分点。
• 该方法对超参数 λ₂ 具备鲁棒性，最优性能出现在 [1000, 3000] 范围内，即使在 λ₂ = 1 时仍保持有效。
• t-SNE 可视化结果表明，OpenMix 逐步将无标签样本聚类为具有判别性的、分离良好的类别组。
• OpenMix 在所有三个数据集上均持续优于基线，证明其在利用已知知识实现开放世界发现方面的有效性。