[论文解读] OpenCon: Open-world Contrastive Learning

Yiyou Sun, Yixuan Li|arXiv (Cornell University)|Aug 4, 2022

Domain Adaptation and Few-Shot Learning被引用 15

一句话总结

本文提出 OpenCon，一种新颖的开放世界对比学习框架，通过基于原型的策略和伪正样本对，联合学习已知类与新类的紧凑表征。该方法在理论上可解释为期望最大化（EM）算法，实现了最先进性能，在新类 ImageNet 准确率上超越先前最先进方法 ORCA 11.9%，在整体准确率上超越 7.4%，表现优异。

ABSTRACT

Machine learning models deployed in the wild naturally encounter unlabeled samples from both known and novel classes. Challenges arise in learning from both the labeled and unlabeled data, in an open-world semi-supervised manner. In this paper, we introduce a new learning framework, open-world contrastive learning (OpenCon). OpenCon tackles the challenges of learning compact representations for both known and novel classes and facilitates novelty discovery along the way. We demonstrate the effectiveness of OpenCon on challenging benchmark datasets and establish competitive performance. On the ImageNet dataset, OpenCon significantly outperforms the current best method by 11.9% and 7.4% on novel and overall classification accuracy, respectively. Theoretically, OpenCon can be rigorously interpreted from an EM algorithm perspective--minimizing our contrastive loss partially maximizes the likelihood by clustering similar samples in the embedding space. The code is available at https://github.com/deeplearning-wisc/opencon.

研究动机与目标

• 为解决在未标记数据中已知类与新类共存的开放世界设置下学习鲁棒表征的挑战。
• 实现在无需事先知晓新类数量的前提下，同时进行表征学习与新类发现。
• 克服现有对比学习与半监督学习方法中封闭世界假设的局限性。
• 开发一种统一的、端到端可训练的框架，兼容 CNN 与 Transformer 架构。

提出的方法

• 提出一种基于原型的学习策略，通过动态更新从演化表征中获得的类原型，以在未标记数据中区分已知类与新类。
• 基于最近的原型生成伪正样本对，支持对比学习，使同一预测类别内的相似样本聚类。
• 采用对比损失函数，通过将具有相同近似标签的样本对齐，促进已知类与新类表征的紧凑聚类。
• 从期望最大化（EM）视角解释优化过程，表明最小化损失函数在一定程度上通过聚类实现了似然函数最大化。
• 支持端到端训练，兼容多种深度学习架构，包括 CNN 与 Transformer。
• 通过到最近已知类原型的距离实现分布外（OOD）检测，实现隐式新类发现。

实验结果

研究问题

• RQ1 当已知类与新类均出现在未标记数据中时，表征学习框架如何有效区分二者？
• RQ2 能否设计一种对比学习方法，实现对已知类的紧凑表征学习与新类的无监督发现？
• RQ3 所提出的对比损失与开放世界学习中聚类或似然最大化之间存在何种理论联系？
• RQ4 与现有方法相比，基于原型的策略如何提升开放世界半监督学习中的性能？
• RQ5 当训练时未知新类数量时，该框架是否具备良好的泛化能力？

主要发现

• 在 ImageNet 数据集上，OpenCon 相较于先前最先进方法 ORCA，新类准确率提升 11.9%，整体准确率提升 7.4%。
• 即使在训练前未知新类数量的情况下，OpenCon 仍表现强劲，性能与已知数量的“理想”设置相当或略优。
• 大量消融实验验证了基于原型策略与伪正样本对生成机制的有效性。
• 该框架在不同架构（包括 CNN 与 Transformer）上均展现出强大的泛化能力。
• 理论分析表明，最小化对比损失等价于通过聚类实现似然最大化，提供了严谨的基于 EM 的解释。
• 到最近已知类原型的距离可作为有效的 OOD 检测信号，性能与现有成熟方法相当。