[论文解读] Unsupervised Out-of-Distribution Detection by Maximum Classifier Discrepancy

Qing Yu, Kiyoharu Aizawa|arXiv (Cornell University)|Aug 14, 2019

Anomaly Detection Techniques and Applications参考文献 28被引用 10

一句话总结

本文提出了一种使用双头深度卷积神经网络（CNN）的无监督分布外（OOD）检测方法，该网络共享一个特征提取器并配备两个独立的分类器。通过在未标记的分布内和分布外数据上最大化两个分类器输出之间的差异，该方法无需使用带标签的分布外数据即可有效将分布外样本与分布内流形分离，在多个基准测试和真实世界模拟中实现了最先进性能。

ABSTRACT

Since deep learning models have been implemented in many commercial applications, it is important to detect out-of-distribution (OOD) inputs correctly to maintain the performance of the models, ensure the quality of the collected data, and prevent the applications from being used for other-than-intended purposes. In this work, we propose a two-head deep convolutional neural network (CNN) and maximize the discrepancy between the two classifiers to detect OOD inputs. We train a two-head CNN consisting of one common feature extractor and two classifiers which have different decision boundaries but can classify in-distribution (ID) samples correctly. Unlike previous methods, we also utilize unlabeled data for unsupervised training and we use these unlabeled data to maximize the discrepancy between the decision boundaries of two classifiers to push OOD samples outside the manifold of the in-distribution (ID) samples, which enables us to detect OOD samples that are far from the support of the ID samples. Overall, our approach significantly outperforms other state-of-the-art methods on several OOD detection benchmarks and two cases of real-world simulation.

研究动机与目标

• 解决在真实世界深度学习应用中检测分布外（OOD）输入的挑战，其中分布外样本较为常见且未标记。
• 改善在高类别分布内场景（如CIFAR-100）中的OOD检测性能，因为现有方法因置信度分数重叠而失效。
• 开发一种无需使用带标签OOD数据的方法，从而实现在有限或无OOD标注访问条件下的实际系统部署。
• 在多样化的架构和真实世界模拟数据集（如FOOD-101和DeepFashion）中展示方法的鲁棒性和泛化能力。

提出的方法

• 使用双头深度卷积神经网络（CNN），共享一个公共特征提取器，但采用具有不同决策边界的两个独立分类器。
• 模型仅使用带标签的分布内（ID）数据和未标记数据（包含ID和OOD样本）进行训练，无需OOD标签。
• 引入差异损失，以最大化两个分类器在未标记数据上的预测差异，从而将OOD样本推向两个决策边界之间的间隙。
• 训练目标结合了在带标签ID数据上的标准交叉熵损失和在未标记数据上的差异损失，同时优化ID分类的准确性与OOD样本的分离。
• 该方法与DenseNet和Wide ResNet等标准架构兼容，可应用于任何深度神经网络（DNN）而无需修改网络结构。
• 最终通过测量两个分类器输出之间的不一致（差异）来执行OOD检测，其中高差异值表示输入为分布外。

实验结果

研究问题

• RQ1 能否利用来自分布内和分布外源的未标记数据，在无需OOD标签的情况下提升无监督OOD检测性能？
• RQ2 在高类别分布内设置下，最大化分类器差异在将OOD样本与分布内流形分离方面的有效性如何，尤其是在CIFAR-100等复杂场景中？
• RQ3 所提出的方法是否能在不同网络架构和真实世界应用领域（如食品和时尚识别）中实现泛化？
• RQ4 未标记数据的大小和组成如何影响OOD检测系统的鲁棒性和性能？
• RQ5 与基于置信度的方法相比，两个分类器之间的差异能否作为可靠且有效的OOD检测信号？

主要发现

• 所提方法在所有测试基准上显著优于最先进方法，包括ODIN和ELOC，涵盖CIFAR-100与TinyImageNet、CIFAR-100与iSUN等设置。
• 在以FOOD-101为ID、TinyImageNet-crop或LSUN-crop为OOD的设置下，方法实现了近乎完美的检测性能，AUROC值在多个场景中超过0.99。
• 即使在未标记数据集中仅包含500个OOD样本和9,000个ID样本时，方法仍保持强大性能，表明对未标记数据不平衡具有鲁棒性。
• 分布内样本的差异损失始终低于分布外样本，且差距越大，检测误差越低，证实了该方法核心机制的有效性。
• 在使用FOOD-101和DeepFashion的真实世界模拟中，方法在AUROC得分上优于ODIN和ELOC，且在多种OOD数据集上性能下降极小。
• 消融研究证实，该方法对未标记数据集的大小和组成变化具有鲁棒性，包括在训练使用的OOD数据与评估时不同的情况下。