[论文解读] The Devil is in the Wrongly-classified Samples: Towards Unified Open-set Recognition

Jun Cen, Di Luan+6 more|arXiv (Cornell University)|Feb 8, 2023

Domain Adaptation and Few-Shot Learning被引用 13

一句话总结

本文分析 Unified Open-set Recognition（UOSR），并显示在 UOSR 下由于存在错误分类的同分布样本，现有的 OSR 方法表现要好得多；随后提出训练设置和一个带 FS-KNNS 的少-shot 框架，以实现最先进的 UOSR 性能。

ABSTRACT

Open-set Recognition (OSR) aims to identify test samples whose classes are not seen during the training process. Recently, Unified Open-set Recognition (UOSR) has been proposed to reject not only unknown samples but also known but wrongly classified samples, which tends to be more practical in real-world applications. The UOSR draws little attention since it is proposed, but we find sometimes it is even more practical than OSR in the real world applications, as evaluation results of known but wrongly classified samples are also wrong like unknown samples. In this paper, we deeply analyze the UOSR task under different training and evaluation settings to shed light on this promising research direction. For this purpose, we first evaluate the UOSR performance of several OSR methods and show a significant finding that the UOSR performance consistently surpasses the OSR performance by a large margin for the same method. We show that the reason lies in the known but wrongly classified samples, as their uncertainty distribution is extremely close to unknown samples rather than known and correctly classified samples. Second, we analyze how the two training settings of OSR (i.e., pre-training and outlier exposure) influence the UOSR. We find although they are both beneficial for distinguishing known and correctly classified samples from unknown samples, pre-training is also helpful for identifying known but wrongly classified samples while outlier exposure is not. In addition to different training settings, we also formulate a new evaluation setting for UOSR which is called few-shot UOSR, where only one or five samples per unknown class are available during evaluation to help identify unknown samples. We propose FS-KNNS for the few-shot UOSR to achieve state-of-the-art performance under all settings.

研究动机与目标

• 推动将 UOSR 作为比 OSR 更实用的开放集设置进行研究。
• 表征为何在同一方法下，UOSR 常常优于 OSR，聚焦于 InW 样本。
• 评估预训练和离群暴露（outlier exposure）如何影响 UOSR 的性能。
• 引入少样本 UOSR 设置并开发方法，以利用少量 OoD 参考来实现鲁棒检测。

提出的方法

• 在图像和视频领域将现有的 OSR 方法应用于 UOSR 任务，并分析不确定性分布。
• 分析训练设置（预训练和离群暴露）如何影响 UOSR 中的 InC/OoD 与 InC/InW 的区分。
• 提出一个少样本 UOSR 基准并开发 FS-KNNS，将 FS-KNN 与 SoftMax 不确定性分数融合，以在利用 OoD 参考的同时保持 InC/InW。
• 形式化少样本 UOSR 问题并推导 FS-KNNS 融合公式，以在 InW 信息与 OoD 信息之间取得平衡。
• 构建并评估一个综合的 UOSR 基准，融合预训练和离群暴露设置。

实验结果

研究问题

• RQ1 在 InC、InW 和 OoD 样本的不确定性分布方面，UOSR 与 OSR 有何不同？
• RQ2 预训练和离群暴露在多大程度上提高 UOSR 的性能，它们如何影响 InC/InW 与 InC/OoD 的判别？
• RQ3 是否可以有效建模一个带 OoD 参考的少样本评估设置，以达到最先进的 UOSR 性能？
• RQ4 SoftMax 与距离不确定性融合（FS-KNN）是否比现有方法更适应 UOSR？
• RQ5 在跨领域（图像/视频）和体系结构下，InW 样本对 OSR 与 UOSR 性能的相对影响有多大？

主要发现

• 在相同方法、跨架构、数据集和领域中，UOSR 的性能始终优于 OSR。
• InW 样本的不确定性分布接近 OoD 而非 InC，这解释了为何许多 OSR 错误正例是 InW。
• 预训练提升了 InC/InW 和 InC/OoD 的判别；离群暴露主要提升 InC/OoD，在某些设置下对 InC/InW 的影响有限甚至负面。
• 少样本 UOSR 引入 1 个或 5 个 OoD 参考样本，并显示出与少样本 OSR 的显著差异挑战，通过 FS-KNNS 实现最先进的 UOSR。
• FS-KNNS，通过融合 FS-KNN 与 SoftMax 分数，在所有设置下通过平衡 InC/InW 和 InC/OoD 判别来实现优越的 UOSR 性能，而无需在训练阶段进行离群暴露。
• 在训练阶段使用真实 OoD 数据（离群暴露）通常比生成数据带来更大收益，且预训练在各种判别任务上带来更广泛的性能提升。