[论文解读] Out-of-distribution Detection Learning with Unreliable Out-of-distribution Sources

Haotian Zheng, Qizhou Wang+5 more|arXiv (Cornell University)|Nov 6, 2023

Anomaly Detection Techniques and Applications被引用 6

一句话总结

该论文提出了一种基于辅助任务的分布外检测方法（ATOL），这是一种基于数据生成的方法，利用不可靠的、错误生成的分布外（OOD）数据作为辅助检测任务，以提升真实OOD检测性能。通过确保辅助ID数据与OOD数据在支持集上互不相交，并对齐真实ID与辅助ID数据的分布，ATOL即使在OOD生成存在缺陷的情况下，也能使预测器稳健学习，在CIFAR-10、CIFAR-100和ImageNet基准上实现了最先进性能。

ABSTRACT

Out-of-distribution (OOD) detection discerns OOD data where the predictor cannot make valid predictions as in-distribution (ID) data, thereby increasing the reliability of open-world classification. However, it is typically hard to collect real out-of-distribution (OOD) data for training a predictor capable of discerning ID and OOD patterns. This obstacle gives rise to data generation-based learning methods, synthesizing OOD data via data generators for predictor training without requiring any real OOD data. Related methods typically pre-train a generator on ID data and adopt various selection procedures to find those data likely to be the OOD cases. However, generated data may still coincide with ID semantics, i.e., mistaken OOD generation remains, confusing the predictor between ID and OOD data. To this end, we suggest that generated data (with mistaken OOD generation) can be used to devise an auxiliary OOD detection task to facilitate real OOD detection. Specifically, we can ensure that learning from such an auxiliary task is beneficial if the ID and the OOD parts have disjoint supports, with the help of a well-designed training procedure for the predictor. Accordingly, we propose a powerful data generation-based learning method named Auxiliary Task-based OOD Learning (ATOL) that can relieve the mistaken OOD generation. We conduct extensive experiments under various OOD detection setups, demonstrating the effectiveness of our method against its advanced counterparts.

研究动机与目标

• 为解决在分布外检测中因基于分布内数据训练的生成器可能生成具有分布内语义的OOD样本而导致的OOD数据生成不可靠问题。
• 克服现有基于数据生成的方法因错误生成OOD数据而失效的局限性，这些错误生成的样本会混淆预测器。
• 提出一种方法，通过将此类不可靠生成的数据构造成有益的辅助OOD检测任务，实现其建设性利用。
• 从理论上证明：当辅助ID与OOD数据支持集互不相交，且真实ID与辅助ID数据分布相似时，从辅助任务中学习可提升真实OOD检测性能。
• 通过实证验证所提方法在多种OOD检测设置下的有效性，包括ImageNet。

提出的方法

• 利用生成数据构建一个辅助OOD检测任务，通过在潜在空间中显式分离辅助ID与OOD数据，确保其支持集互不相交。
• 通过从基于混合高斯模型（MoG）的ID分布的低密度区域采样噪声来训练生成器，避免采样高密度区域，从而生成辅助OOD数据。
• 设计一种联合训练流程，使预测器能够同时从真实OOD检测任务和辅助任务中学习，提升泛化能力。
• 通过显式潜在空间划分强制满足条件C1（辅助ID与OOD数据支持集互不相交），并通过共享数据分布建模实现条件C2（真实与辅助ID数据分布相似）。
• 采用多头预测器，共享特征提取器，但为真实和辅助OOD检测任务分别设置独立头，以实现知识迁移的同时保持任务特异性。
• 应用对比学习目标，对齐真实与辅助ID数据的表示，促进领域一致性并提升对分布偏移的鲁棒性。

实验结果

研究问题

• RQ1 不可靠的、错误生成的OOD数据是否仍可用于提升真实OOD检测性能？
• RQ2 在何种条件下，从包含缺陷生成数据的辅助OOD检测任务中学习，能提升真实OOD检测性能？
• RQ3 如何在高维输入空间中强制实现辅助ID与OOD数据支持集的互不相交？
• RQ4 何种训练流程可确保即使OOD生成不完美，辅助任务仍能有益于真实OOD检测任务？
• RQ5 在各种基准设置下，ATOL与最先进OOD检测方法相比表现如何？

主要发现

• 在CIFAR-10上，ATOL实现了最先进性能，FPR95为14.27 ± 0.48，AUROC为97.44 ± 0.13，优于现有方法。
• 在CIFAR-100上，ATOL的FPR95为56.92 ± 1.61，AUROC为88.38 ± 0.54，展现出在多样化OOD检测场景下的强大泛化能力。
• 在ImageNet上，ATOL在五次运行中平均FPR95为51.84 ± 0.35，AUROC为85.85 ± 0.13，表现出一致且稳健的性能。
• 该方法显著降低了错误OOD生成的负面影响，表现为即使OOD数据包含ID语义，性能依然稳定。
• 可视化结果证实，ATOL能生成多样化且语义上显著不同的辅助OOD样本，支持了潜在空间区域互不相交的理论设计。
• 消融研究显示，辅助任务对性能有显著贡献，移除辅助头后，CIFAR-10上的AUROC最高下降达3.5%。