[论文解读] Practical Evaluation of Out-of-Distribution Detection Methods for Image Classification

Engkarat Techapanurak, Takayuki Okatani|arXiv (Cornell University)|Jan 7, 2021

Anomaly Detection Techniques and Applications参考文献 38被引用 4

一句话总结

本文在三种实际应用场景——无关输入检测、新类别检测和域偏移检测中，对分布外（OOD）检测方法进行了评估，使用了多种数据集和任务。结果表明，方法性能因场景和数据分布而异，余弦相似度方法始终表现良好，马氏距离检测器仅适用于无关输入检测，而基于置信度的方法（如MC正则化）在域偏移检测中表现优异。

ABSTRACT

We reconsider the evaluation of OOD detection methods for image recognition. Although many studies have been conducted so far to build better OOD detection methods, most of them follow Hendrycks and Gimpel's work for the method of experimental evaluation. While the unified evaluation method is necessary for a fair comparison, there is a question of if its choice of tasks and datasets reflect real-world applications and if the evaluation results can generalize to other OOD detection application scenarios. In this paper, we experimentally evaluate the performance of representative OOD detection methods for three scenarios, i.e., irrelevant input detection, novel class detection, and domain shift detection, on various datasets and classification tasks. The results show that differences in scenarios and datasets alter the relative performance among the methods. Our results can also be used as a guide for practitioners for the selection of OOD detection methods.

研究动机与目标

• 为填补现有OOD检测方法评估中仅依赖标准Hendrycks & Gimpel基准的空白，该基准可能无法反映真实世界部署场景。
• 评估代表性OOD检测方法在三种不同实际应用场景中的性能：无关输入检测、新类别检测和域偏移检测。
• 提出并验证一种用于域偏移检测的元方法，该场景在深度学习中此前研究不足。
• 提供实证证据，证明方法在不同数据分布和任务设置下的有效性，为真实系统中的模型选择提供实用指导。

提出的方法

• 本研究评估了六种OOD检测方法：基于置信度的基线方法、MC正则化、ODIN、余弦相似度和马氏距离检测器，所有方法均经过调整，可在训练时无需显式OOD样本的情况下使用。
• 在域偏移检测中，作者采用一种元方法，利用OOD检测方法检测在分布偏移下分类准确率的性能下降。
• 评估在多个数据集和分类任务上进行，性能通过标准OOD检测指标（如AUROC和FPR95）进行衡量。
• 马氏距离检测器采用一种在超参数调优阶段无需OOD样本的变体，以确保与其他方法的公平比较。
• 余弦相似度方法通过修改网络的最后几层，计算特征嵌入与类别原型之间的相似度来实现。
• 基于置信度和MC正则化的方法应用于预训练模型，利用其不确定性估计能力进行域偏移检测。

实验结果

研究问题

• RQ1 OOD检测方法在不同真实世界应用场景（如无关输入检测、新类别检测和域偏移检测）中的表现如何？
• RQ2 数据集选择和分布偏移在多大程度上影响OOD检测方法的相对性能？
• RQ3 现有OOD检测方法能否被有效重用于域偏移检测？在该场景中目标是检测性能下降而非分布偏移。
• RQ4 哪种OOD检测方法在多样化场景和数据集上表现出最稳健和可泛化的性能？
• RQ5 为何某些方法（如马氏距离检测器）在某些场景中表现良好，而在其他场景（尤其是新类别检测）中表现不佳？

主要发现

• 余弦相似度方法在所有三种场景中均表现出稳定优异的性能，因此在允许网络修改的前提下，应作为首选方法。
• 马氏距离检测器虽在无关输入检测中表现最优，但在新类别检测中表现较差，原因在于其依赖单一共享协方差矩阵和高斯假设。
• 基于置信度的方法（尤其是MC正则化）在域偏移检测中表现优异，因其对分布偏移下预测置信度下降敏感。
• 域偏移检测与传统OOD检测有本质区别：其目标是检测准确率下降而非输入分布偏移，因此更适用于具备不确定性感知能力的方法。
• OOD检测方法的性能高度依赖于具体场景；没有一种方法在所有场景中全面占优，凸显了根据场景选择方法的必要性。
• 在超参数调优阶段使用OOD样本会导致测试OOD数据来自不同分布时泛化性能下降，进一步强调了无需此类数据的方法的重要性。