[论文解读] Using Semantic Information for Defining and Detecting OOD Inputs

Ramneet Kaur, Xiayan Ji+6 more|arXiv (Cornell University)|Feb 21, 2023

Anomaly Detection Techniques and Applications被引用 4

一句话总结

本文提出了一种新颖的分布外（OOD）检测方法，通过利用训练数据中的语义信息来更有效地定义和检测分布外输入。与依赖分布统计特征的方法不同，该方法聚焦于语义内容，从而减少误报，并显著提升对具有虚假特征的OOD输入的检测能力，在MNIST、COCO、Birds和CelebA等基准测试中达到最先进性能。

ABSTRACT

As machine learning models continue to achieve impressive performance across different tasks, the importance of effective anomaly detection for such models has increased as well. It is common knowledge that even well-trained models lose their ability to function effectively on out-of-distribution inputs. Thus, out-of-distribution (OOD) detection has received some attention recently. In the vast majority of cases, it uses the distribution estimated by the training dataset for OOD detection. We demonstrate that the current detectors inherit the biases in the training dataset, unfortunately. This is a serious impediment, and can potentially restrict the utility of the trained model. This can render the current OOD detectors impermeable to inputs lying outside the training distribution but with the same semantic information (e.g. training class labels). To remedy this situation, we begin by defining what should ideally be treated as an OOD, by connecting inputs with their semantic information content. We perform OOD detection on semantic information extracted from the training data of MNIST and COCO datasets and show that it not only reduces false alarms but also significantly improves the detection of OOD inputs with spurious features from the training data.

研究动机与目标

• 解决现有OOD检测器继承训练数据分布偏差的局限性。
• 通过将分布内定义为包含与训练类别标签相关语义内容的输入（无论背景或虚假特征如何），重新定义OOD检测。
• 提升对缺乏与训练类别语义相关性的OOD输入的检测能力，即使这些输入与训练类别共享标签。
• 开发一种对现实数据中常见的背景、颜色或纹理变化等虚假特征具有鲁棒性的方法。
• 在OOD检测基准上展示优越性能，尤其在存在语义缺陷但标签重叠的输入上表现更优。

提出的方法

• 将预期的分布内定义为包含与训练类别标签相关语义信息的输入，无论背景或虚假特征如何。
• 使用语义分割网络（如FPN-ResNet50、Lee et al. 2020）提取并分离图像中语义相关的区域。
• 应用两步分割算法（$\mathcal{N}_r$）对图像进行二值化处理，将中心区域标记为语义相关，外围区域标记为无关。
• 通过计算测试图像与参考数字图像集（来自Mix-MNIST）之间的结构相似性（SSIM）来评估语义匹配程度。
• 若测试输入在语义参考集中无法与任何参考数字在SSIM相似度上匹配，则判定为OOD。
• 使用AUROC和在95%真正率（TPR）下的特异性真阴率（TNR）在多个基准（包括Vizwiz、Fashion-MNIST、Birds和CelebA）上评估检测性能。

Figure 1: The intended distribution has a much higher variability in terms of the samples it covers, when compared to the training distribution. The classifier trained to classify birds in {sitting birds, flying birds} is expected to generalize well for the intended distribution, which has birds sit

实验结果

研究问题

• RQ1 当语义内容为主要标准而非分布统计特征时，什么构成真正的OOD输入？
• RQ2 基于语义的OOD检测方法与基于分布的方法相比，在检测具有虚假特征的输入时表现如何？
• RQ3 在具有高虚假特征偏差的数据集（如Birds和CelebA）上，语义分割能否提升OOD检测性能？
• RQ4 所提出方法在语义相关但分布不同的输入上，能将误报减少到何种程度？
• RQ5 该方法在存在质量退化（如模糊、昏暗）或类别标签不一致的OOD输入上的表现如何？

主要发现

• 该方法在ImageNet上达到97.31%的AUROC，在LSUN上达到99.57%，优于ODIN和Mahala等SOTA检测器。
• 在Vizwiz OOD测试集（模糊、昏暗、遮挡图像）上，该方法在95% TPR下的TNR为67.15%，优于ODIN（66.67%）和Mahala（54.16%）。
• 在Fashion-MNIST OOD输入（类别标签不一致）上，该方法达到84.27%的AUROC，与Mahala的86.03%相当，且在95% TPR下的TNR为44.67%，仅次于最佳基线。
• 该方法显著提升了对具有虚假特征的OOD输入的检测能力（如水鸟在陆地、灰发男性），而现有检测器因训练数据偏差而失效。
• 基于语义的检测方法显著减少了对具有非标准背景（如雪地上的鸟）的分布内输入的误报，提升了模型在真实场景部署中的实用性。
• 该方法在MNIST、COCO、Birds和CelebA等多样化数据集上表现出鲁棒性，证实其在不同架构和数据类型上的泛化能力。

Figure 2: Images from Birds and CelebA dataset (left). OOD for birds dataset are images without birds, and OOD for CelebA dataset are images of people without hair (right).