[论文解读] OpenAUC: Towards AUC-Oriented Open-Set Recognition

Zitai Wang, Qianqian Xu+4 more|arXiv (Cornell University)|Oct 22, 2022

Domain Adaptation and Few-Shot Learning被引用 9

一句话总结

本文提出 OpenAUC，一种用于开放集识别（OSR）的新颖度量，以一致且无需阈值的方式联合评估闭集与开集性能。通过将性能建模为已知样本与未知样本之间的成对排序，OpenAUC 避免了现有度量的不一致性，支持端到端优化，在基准数据集上取得了最先进结果。

ABSTRACT

Traditional machine learning follows a close-set assumption that the training and test set share the same label space. While in many practical scenarios, it is inevitable that some test samples belong to unknown classes (open-set). To fix this issue, Open-Set Recognition (OSR), whose goal is to make correct predictions on both close-set samples and open-set samples, has attracted rising attention. In this direction, the vast majority of literature focuses on the pattern of open-set samples. However, how to evaluate model performance in this challenging task is still unsolved. In this paper, a systematic analysis reveals that most existing metrics are essentially inconsistent with the aforementioned goal of OSR: (1) For metrics extended from close-set classification, such as Open-set F-score, Youden's index, and Normalized Accuracy, a poor open-set prediction can escape from a low performance score with a superior close-set prediction. (2) Novelty detection AUC, which measures the ranking performance between close-set and open-set samples, ignores the close-set performance. To fix these issues, we propose a novel metric named OpenAUC. Compared with existing metrics, OpenAUC enjoys a concise pairwise formulation that evaluates open-set performance and close-set performance in a coupling manner. Further analysis shows that OpenAUC is free from the aforementioned inconsistency properties. Finally, an end-to-end learning method is proposed to minimize the OpenAUC risk, and the experimental results on popular benchmark datasets speak to its effectiveness. Project Page: https://github.com/wang22ti/OpenAUC.

研究动机与目标

• 识别现有开放集识别（OSR）度量中的根本性不一致，特别是其在平衡闭集与开集性能方面的失败。
• 提出一种新度量 OpenAUC，以耦合且与阈值无关的方式评估闭集与开集性能。
• 建立一种端到端学习方法，通过最小化 OpenAUC 风险，实现对两种性能方面的联合优化。
• 通过在标准基准数据集上的广泛实验，验证 OpenAUC 的理论优势。

提出的方法

• OpenAUC 定义为一种成对排序度量：对于每对已知样本与未知样本，检查已知样本是否被正确分类并排在未知样本之下。
• 该度量使用排序算子，避免对特定决策阈值的依赖，从而确保对阈值选择的鲁棒性。
• 所提出的学习目标是一种端到端可微的风险最小化公式，可直接优化 OpenAUC。
• 该方法在损失函数中引入超参数 λ，以平衡闭集与开集性能的贡献。
• 优化框架使用标准深度学习反向传播进行训练，OpenAUC 目标由代理损失函数推导得出。
• 该方法在 SVHN、CIFAR-10、CIFAR-100 和 TinyImageNet 上进行评估，采用不同的开集定义。

实验结果

研究问题

• RQ1 现有 OSR 度量（如开集 F1 分数和 Youden 指数）是否在评估闭集与开集性能时存在不一致性？
• RQ2 能否设计一种统一度量，同时评估闭集准确率与开集区分能力，而无需依赖与阈值相关的决策？
• RQ3 针对 OpenAUC 的优化是否能提升在多样化基准数据集上的泛化能力与性能？
• RQ4 所提出的端到端学习方法在鲁棒性与有效性方面，与最先进 OSR 方法相比表现如何？

主要发现

• 基于分类的现有度量（如开集 F1 分数和 Youden 指数）存在不一致性，因为它们可能通过将开集样本错误分类为已知样本而被优化，导致误导性性能分数。
• 新颖性检测 AUC 忽视了闭集性能，而将其与闭集准确率结合会导致多目标优化问题，对联合性能而言并非最优。
• 所提出的 OpenAUC 度量在理论上与 OSR 目标一致，因为它以耦合且无需阈值的方式评估闭集与开集性能。
• 基于 OpenAUC 风险最小化的端到端学习方法在所有评估数据集（包括 SVHN、CIFAR-10、CIFAR-100 和 TinyImageNet）上均取得了最先进性能。
• 敏感性分析表明，OpenAUC 的最优超参数 λ 为 0.1 或 0.2，更高值会导致性能下降，可能由于生成样本中的噪声所致。
• 消融研究证实，若移除闭集准确率项（Acc+AUC），性能将显著下降，验证了 OpenAUC 中耦合目标的必要性。