[论文解读] Rethinking Out-of-distribution (OOD) Detection: Masked Image Modeling is All You Need

Jingyao Li, Pengguang Chen+4 more|arXiv (Cornell University)|Feb 6, 2023

Anomaly Detection Techniques and Applications被引用 4

一句话总结

该论文提出 MOOD，一种新颖的分布外（OOD）检测框架，利用掩码图像建模（MIM）作为自监督先验任务，以在不使用任何 OOD 样本的情况下学习稳健的分布内（ID）表征。通过聚焦于基于重建的学习，MOOD 在多个 OOD 检测基准上实现了最先进性能，其 AUROC 最高比之前最先进方法高出 5.7%，甚至超越了使用 10 次样本异常暴露的模型。

ABSTRACT

The core of out-of-distribution (OOD) detection is to learn the in-distribution (ID) representation, which is distinguishable from OOD samples. Previous work applied recognition-based methods to learn the ID features, which tend to learn shortcuts instead of comprehensive representations. In this work, we find surprisingly that simply using reconstruction-based methods could boost the performance of OOD detection significantly. We deeply explore the main contributors of OOD detection and find that reconstruction-based pretext tasks have the potential to provide a generally applicable and efficacious prior, which benefits the model in learning intrinsic data distributions of the ID dataset. Specifically, we take Masked Image Modeling as a pretext task for our OOD detection framework (MOOD). Without bells and whistles, MOOD outperforms previous SOTA of one-class OOD detection by 5.7%, multi-class OOD detection by 3.0%, and near-distribution OOD detection by 2.1%. It even defeats the 10-shot-per-class outlier exposure OOD detection, although we do not include any OOD samples for our detection

研究动机与目标

• 探究基于重建的自监督学习是否能在 OOD 检测中超越基于分类的方法。
• 挑战 OOD 样本暴露对高性能 OOD 检测是必要的假设。
• 证明通过 MIM 学习数据内在分布可带来更鲁棒的 ID 表征学习。
• 建立一种简单、高效的 OOD 检测框架，不依赖 OOD 数据或复杂架构。

提出的方法

• 该方法采用掩码图像建模（MIM）作为自监督先验任务，其中输入图像的随机图像块被掩码，模型被训练以重建这些块。
• 模型使用离散 VAE 令牌作为监督信号，以重建被掩码的图像块，从而迫使模型学习像素级的数据分布。
• 视觉 Transformer 主干网络处理受损的图像输入，并预测缺失的图像块，同时学习可泛化的 ID 表征。
• 最终的 OOD 检测通过测试特征与 ID 训练特征分布之间的马氏距离实现。
• 训练或推理过程中均未使用 OOD 样本，使该方法完全聚焦于 ID 数据。
• 该框架在单类、多类、近分布以及少样本异常暴露 OOD 检测任务中进行了评估。

实验结果

研究问题

• RQ1 基于重建的自监督学习是否能在 OOD 检测中超越基于分类的表征学习？
• RQ2 通过 MIM 学习数据内在分布是否能比分类任务中的捷径学习带来更好的 OOD 检测泛化能力？
• RQ3 是否可能在完全不接触 OOD 样本的情况下实现最先进 OOD 检测性能？
• RQ4 基于 MIM 的表征学习与使用异常暴露的最先进方法相比如何？

主要发现

• 在单类 OOD 检测中，MOOD 在 CIFAR-10 上实现了 94.9% 的 AUROC，比之前最先进方法（CSI）高出 5.7%。
• 在多类 OOD 检测中，MOOD 在 CIFAR-10 上达到 97.6% 的 AUROC，比当前最先进方法（SSD+）高出 3.0%。
• 在近分布 OOD 检测中，MOOD 在 CIFAR-10-CIFAR100 对上实现 98.3% 的 AUROC，比最先进方法（R50+ViT）高出 2.1%。
• 在少样本异常暴露 OOD 检测中，MOOD 在未使用任何 OOD 样本的情况下实现 99.41% 的 AUROC，超越了使用每类 10 个 OOD 样本的最先进方法（R50+ViT）的 99.29%。
• 与最先进方法（SSD+）相比，MOOD 在多类检测中平均将被错误分类的 OOD 样本数量减少了 79%，后者在 95% TPR 下表现。
• 结果表明，基于重建的自监督学习为 OOD 检测提供了比基于分类或对比学习方法更有效的归纳偏差。