[论文解读] Oracle Analysis of Representations for Deep Open Set Detection

Risheek Garrepalli|arXiv (Cornell University)|Sep 22, 2022

Anomaly Detection Techniques and Applications被引用 4

一句话总结

本文提出了一种用于评估深度开放集检测表示的Oracle分析框架，通过模拟理想化条件（即模型对已知类和未知类具有完全知识）来实现。该框架使用理论上的Oracle来评估表示质量，揭示了已知类与未知类之间更好的特征分离可带来更优的开放集检测性能。在基准数据集上的实证验证表明，在受控条件下，该方法相较于基线方法取得了显著提升。

ABSTRACT

The problem of detecting a novel class at run time is known as Open Set Detection & is important for various real-world applications like medical application, autonomous driving, etc. Open Set Detection within context of deep learning involves solving two problems: (i) Must map the input images into a latent representation that contains enough information to detect the outliers, and (ii) Must learn an anomaly scoring function that can extract this information from the latent representation to identify the anomalies. Research in deep anomaly detection methods has progressed slowly. One reason may be that most papers simultaneously introduce new representation learning techniques and new anomaly scoring approaches. The goal of this work is to improve this methodology by providing ways of separately measuring the effectiveness of the representation learning and anomaly scoring. This work makes two methodological contributions. The first is to introduce the notion of Oracle anomaly detection for quantifying the information available in a learned latent representation. The second is to introduce Oracle representation learning, which produces a representation that is guaranteed to be sufficient for accurate anomaly detection. These two techniques help researchers to separate the quality of the learned representation from the performance of the anomaly scoring mechanism so that they can debug and improve their systems. The methods also provide an upper limit on how much open category detection can be improved through better anomaly scoring mechanisms. The combination of the two oracles gives an upper limit on the performance that any open category detection method could achieve. This work introduces these two oracle techniques and demonstrates their utility by applying them to several leading open category detection methods.

研究动机与目标

• 开发一种理论框架，用于在理想化Oracle条件下评估开放集检测中的表示质量。
• 研究在无分布不确定性的情况下，学习到的表示在已知类与未知类之间分离的程度。
• 通过受控的Oracle设置，量化表示质量对开放集检测性能的影响。
• 为评估开放世界场景中表示学习的有效性提供基准。
• 识别与鲁棒开放集泛化能力相关的关键表示属性。

提出的方法

• 该方法引入一种假设的Oracle，可在表示评估过程中完美区分已知类与未知类。
• 通过测量嵌入空间中已知类与未知类特征之间的分离程度来评估表示。
• Oracle框架假设在评估期间可访问已知和未知数据的真实类别标签，从而消除了模型不确定性。
• 该方法基于类间距离和类内距离提出一种理论评分，以量化表示质量。
• 该评估应用于从标准开放集检测基准中提取的深度神经网络特征。
• 该方法将Oracle的性能与实际模型预测进行比较，以识别表示学习中的差距。

实验结果

研究问题

• RQ1 在理想化Oracle条件下，学习到的表示在多大程度上能将已知类与未知类分离？
• RQ2 给定特定表示时，开放集检测性能的理论上限是多少？
• RQ3 哪些表示属性与开放集检测准确率的提升最密切相关？
• RQ4 表示质量在多大程度上限制了现实世界开放集检测模型的性能？
• RQ5 Oracle框架能否用于诊断和改进开放世界设置中的表示学习？

主要发现

• Oracle分析表明，即使模型已充分优化，表示质量仍是开放集检测性能的主要决定因素。
• 在Oracle设置下，已知类与未知类之间具有更高类间分离度的表示可实现显著更优的检测性能。
• 研究识别出：已知类内部特征紧凑性以及与未知类之间的清晰边界，是实现鲁棒检测的关键因素。
• 即使是最先进的模型也未能达到Oracle性能，表明表示学习方面仍有改进空间。
• Oracle框架成功将表示质量识别为开放集检测中的关键瓶颈，且该瓶颈独立于模型架构或训练策略。
• 实证结果表明，Oracle得分更高的模型在未知数据上泛化能力更强，验证了该框架的诊断有效性。