[论文解读] Out-Of-Distribution Detection With Subspace Techniques And Probabilistic Modeling Of Features

Ibrahima J. Ndiour, Nilesh Ahuja+1 more|arXiv (Cornell University)|Dec 8, 2020

Anomaly Detection Techniques and Applications被引用 9

一句话总结

该论文提出了一种新颖的分布外（OOD）检测方法，利用子空间技术——包括线性（如PCA）和非线性（如自编码器）——将高维深度特征压缩为低维流形，随后对这些嵌入进行概率建模。结果表明，降低维度后的子空间中，特征重构误差和对数似然得分显著优于基线方法，在CIFAR10、CIFAR100和SVHN上AUROC和AUPR分别最高提升13个百分点。

ABSTRACT

This paper presents a principled approach for detecting out-of-distribution (OOD) samples in deep neural networks (DNN). Modeling probability distributions on deep features has recently emerged as an effective, yet computationally cheap method to detect OOD samples in DNN. However, the features produced by a DNN at any given layer do not fully occupy the corresponding high-dimensional feature space. We apply linear statistical dimensionality reduction techniques and nonlinear manifold-learning techniques on the high-dimensional features in order to capture the true subspace spanned by the features. We hypothesize that such lower-dimensional feature embeddings can mitigate the curse of dimensionality, and enhance any feature-based method for more efficient and effective performance. In the context of uncertainty estimation and OOD, we show that the log-likelihood score obtained from the distributions learnt on this lower-dimensional subspace is more discriminative for OOD detection. We also show that the feature reconstruction error, which is the $L_2$-norm of the difference between the original feature and the pre-image of its embedding, is highly effective for OOD detection and in some cases superior to the log-likelihood scores. The benefits of our approach are demonstrated on image features by detecting OOD images, using popular DNN architectures on commonly used image datasets such as CIFAR10, CIFAR100, and SVHN.

研究动机与目标

• 为解决深度神经网络中分布外（OOD）检测的挑战，即模型需识别训练分布之外的数据。
• 克服高维特征空间的局限，其中传统概率模型受维度灾难影响。
• 通过在低维子空间中建模特征，更好地反映真实数据流形，从而提升OOD检测性能。
• 评估特征重构误差作为OOD检测置信度分数的有效性，独立于基于似然的方法。
• 在有限数据下验证方法的鲁棒性，以适应真实场景中的部署需求。

提出的方法

• 应用线性降维（如PCA）和非线性流形学习（如自编码器）将高维深度特征压缩至低维子空间。
• 在降维后的子空间上学习类别条件概率分布（如多元高斯分布），以计算对数似然得分。
• 通过原始高维特征与降维后在原始空间中的预像之间的L2范数，计算特征重构误差。
• 将对数似然和重构误差同时用作OOD检测的置信度分数，实现模块化设计选择。
• 在训练数据的子集上训练子空间模型和概率分布，以评估数据稀缺下的鲁棒性。
• 在标准基准（CIFAR10、CIFAR100、SVHN）上，使用多种网络架构，通过标准指标AUROC和AUPR评估性能。

实验结果

研究问题

• RQ1 与在原始高维空间中建模相比，将深度特征降维至低维子空间是否能提升OOD检测性能？
• RQ2 在降维子空间中，特征重构误差是否比对数似然更有效地作为OOD置信度分数？
• RQ3 在深度特征空间中，多元高斯建模的同方差假设（共享协方差）是否仍然成立？违反该假设是否会降低OOD检测性能？
• RQ4 当训练数据受限（如仅使用完整数据集的20%）时，所提方法的性能如何变化？
• RQ5 在深层网络层中，非线性子空间技术是否始终优于线性方法，尤其是在特征结构复杂的深层层中？

主要发现

• 所提方法在CIFAR10、CIFAR100和SVHN数据集上，与基线方法相比，AUROC和AUPR最高分别提升13个百分点。
• 在降维子空间中，特征重构误差在OOD检测中极为有效，尤其在深层网络中常优于对数似然得分。
• 在深层网络层中，非线性子空间建模（如自编码器）始终优于线性方法（如PCA），因为该层的特征流形表现出复杂非线性。
• 即使仅用20%的训练数据进行训练，该方法仍保持鲁棒性，大多数情况下AUROC下降不足1%，极少超过5%。
• 基线马氏距离方法中假设的同方差性（共享协方差）在深度特征中常被违反，导致性能甚至劣于Softmax得分。
• 基于子空间的方法使在低维空间中使用更丰富、更复杂的生成模型成为可能，为改进不确定性估计开辟了新途径。