[论文解读] Rethinking Reconstruction Autoencoder-Based Out-of-Distribution Detection

Yibo Zhou|arXiv (Cornell University)|Mar 4, 2022

Anomaly Detection Techniques and Applications被引用 4

一句话总结

本文提出了一种新颖的逐层语义重建框架，通过在最大化潜在空间压缩的同时保持对分布内（ID）数据的重建能力，提升了基于自编码器的分布外（OoD）检测性能。通过逐层重建分解数据置信度，并使用归一化的L2距离，该方法在CIFAR-100与TinyImageNet-crop之间实现了SOTA性能，FPR@95%TPR为0.2%，且无需使用OoD数据，同时不损害分类器的准确率。

ABSTRACT

In some scenarios, classifier requires detecting out-of-distribution samples far from its training data. With desirable characteristics, reconstruction autoencoder-based methods deal with this problem by using input reconstruction error as a metric of novelty vs. normality. We formulate the essence of such approach as a quadruplet domain translation with an intrinsic bias to only query for a proxy of conditional data uncertainty. Accordingly, an improvement direction is formalized as maximumly compressing the autoencoder's latent space while ensuring its reconstructive power for acting as a described domain translator. From it, strategies are introduced including semantic reconstruction, data certainty decomposition and normalized L2 distance to substantially improve original methods, which together establish state-of-the-art performance on various benchmarks, e.g., the FPR@95%TPR of CIFAR-100 vs. TinyImagenet-crop on Wide-ResNet is 0.2%. Importantly, our method works without any additional data, hard-to-implement structure, time-consuming pipeline, and even harming the classification accuracy of known classes.

研究动机与目标

• 为解决基于自编码器的OoD检测方法泛化能力差的问题，这些方法通常因潜在空间过容量和缺乏不确定性建模而难以有效重建分布外样本。
• 形式化重建误差可靠衡量数据不确定性的条件，识别出潜在空间紧凑性和足够的重建能力作为关键前提条件。
• 开发一种方法，在不牺牲对分布内数据重建保真度的前提下，最大化自编码器潜在空间的压缩，从而实现稳健的OoD检测。
• 消除对外部OoD数据、复杂架构或降低分布内分类准确率的训练流程的依赖。
• 提供一种理论基础坚实、计算高效且与标准分类器正交的OoD检测模块。

提出的方法

• 将OoD检测形式化为四元组域迁移问题，识别出两个前提条件：(1) OoD输入的潜在特征位于ID潜在空间之外，(2) 解码器能够从其潜在码重建ID数据。
• 引入基于单个全连接层交叉熵的正则化损失，以压缩潜在空间，确保ID特征被限制在紧凑区域。
• 用激活向量（AV）重建替代直接图像重建，以减轻潜在空间的表达负担，从而实现更强的压缩。
• 通过概率链式法则推导出数据置信度的分解，将置信度表示为逐层重建误差条件密度的乘积。
• 采用归一化的L2距离作为重建度量，以提高对低激活OoD样本的鲁棒性，这些样本容易产生误导的置信度分数。
• 在置信度分数中引入一个微小的ε项，以防止因重建残差过低而导致ID样本被误分类为OoD。

实验结果

研究问题

• RQ1 在基于自编码器的OoD检测中，重建误差在何种条件下可作为数据不确定性的有效代理？
• RQ2 通过在保持重建能力的同时最大化潜在空间压缩，能否显著提升基于自编码器的OoD检测器性能？
• RQ3 如何在不依赖OoD训练数据的前提下，有效分解网络各层上的数据置信度以提升OoD检测性能？
• RQ4 所提出方法在分布内类别数量和激活向量维度变化时，其鲁棒性如何？
• RQ5 能否设计一种简单、正交且高效的OoD检测模块，使其不降低基础分类器的准确率？

主要发现

• 所提方法在具有挑战性的CIFAR-100与TinyImageNet-crop基准上，使用Wide-ResNet-28-10，实现了SOTA的FPR@95%TPR 0.2%。
• 该方法在多种数据集（包括LSUN-crop和CIFAR-100）上均保持高AUROC和FPR@95%TPR，且在不同超参数设置下表现一致。
• 在置信度分数中引入ε项可提升检测鲁棒性，减少ID样本的误报，并在某些设置下将FPR@95%TPR提升高达10%。
• 该方法对分布内类别数量较少（低至2个）和激活向量维度变化具有鲁棒性，展现出在不同网络架构间的强泛化能力。
• 与基线自编码器方法相比，该框架在AUROC和FPR@95%TPR上均表现更优，且在不同正则化权重下表现出显著更高的稳定性。
• 该方法以无监督、与分类器正交的方式运行，无需额外的OoD数据、复杂结构或耗时的训练流程，同时保持原始分类器的准确率。