[论文解读] OpenOOD: Benchmarking Generalized Out-of-Distribution Detection

Jingkang Yang, Pengyun Wang+14 more|arXiv (Cornell University)|Oct 13, 2022

Anomaly Detection Techniques and Applications被引用 86

一句话总结

OpenOOD 提供一个统一的、通用的基准和代码库，用于评估异常检测、开放集识别和分布外检测方法，揭示在9个基准和35种方法上的趋势。

ABSTRACT

Out-of-distribution (OOD) detection is vital to safety-critical machine learning applications and has thus been extensively studied, with a plethora of methods developed in the literature. However, the field currently lacks a unified, strictly formulated, and comprehensive benchmark, which often results in unfair comparisons and inconclusive results. From the problem setting perspective, OOD detection is closely related to neighboring fields including anomaly detection (AD), open set recognition (OSR), and model uncertainty, since methods developed for one domain are often applicable to each other. To help the community to improve the evaluation and advance, we build a unified, well-structured codebase called OpenOOD, which implements over 30 methods developed in relevant fields and provides a comprehensive benchmark under the recently proposed generalized OOD detection framework. With a comprehensive comparison of these methods, we are gratified that the field has progressed significantly over the past few years, where both preprocessing methods and the orthogonal post-hoc methods show strong potential.

研究动机与目标

• 创建一个统一、结构良好的通用 OOD 检测基准，以便在相关任务（AD、OSR、OOD）之间进行公平比较。
• 提供一个全面、易于扩展的代码库(OpenOOD)，实现来自相关领域的35种方法，以便公平评估。
• 设计9个基准，区分 near-OOD 和 far-OOD，以便对 ID/OOD 可分离性进行详细分析。
• 提供关于预处理、数据使用以及后验方法与基于训练的方法的实证见解，以指导未来研究。

提出的方法

• 构建一个统一的 OpenOOD 代码库，将来自 AD、OSR、OOD 检测以及模型不确定性领域的35种方法整合在一个共同的实验框架中。
• 在通用的 OOD 检测框架下提供9个基准，涵盖 AD、OSR、OOD 检测，包括 near-OOD 和 far-OOD 场景。
• 标准化预处理、模型骨干网络以及训练/测试协议，以确保方法之间的公平比较。
• 使用常见指标（FPR@95、AUROC、AUPR）评估方法，主要关注 AUROC。
• 分析结果以识别趋势，例如简单预处理的有效性、额外数据的作用，以及后验方法与基于训练的方法的影响。

实验结果

研究问题

• RQ1 在统一的广义 OOD 基准下，跨越 AD、OSR、OOD 任务的多样化 OOD 相关方法的表现如何？
• RQ2 在广义 OOD 检测中，简单的预处理或后验方法是否能与基于训练的方法相媲美？
• RQ3 使用额外离群数据对 OOD 检测性能的影响是什么，near-OOD 和 far-OOD 场景在实践中有何不同？
• RQ4 在方法有效性和 ID 准确性方面，OSR 基准与 OOD 检测基准如何对齐？

主要发现

• 后验和预处理方法在广义基准中通常优于更为强力的训练方法。
• 额外的离群数据并不总是能改善性能，其效果取决于数据集。
• 数据增强和模型不确定性方法（例如 PixMix、Mixup、集成）在各基准上表现强劲。
• 基于 ImageNet 的评估往往比 CIFAR 的 AUROC 分数更高，表明数据集复杂度的影响。
• OSR 结果往往与 near-OOD 的表现一致，表明 OSR 与 OOD 检测之间存在共同挑战。
• OpenOOD 框架能够实现公平比较，并凸显简单、实用的技术也能带来显著收益。