[论文解读] Novelty detection using ensembles with regularized disagreement.

Alexandru Ţifrea, Eric Stavarache+1 more|arXiv (Cornell University)|Dec 10, 2020

Anomaly Detection Techniques and Applications参考文献 54被引用 4

一句话总结

本文提出了一种基于集成的新型方法用于分布外（OOD）检测，通过正则化分歧来提升对新类别样本的检测能力，即使在训练过程中未提供 OOD 数据也能实现。该方法在 SVHN、CIFAR-10、CIFAR-100 及医学图像数据集等标准基准上显著优于当前最先进方法，尤其在检测未见类别方面表现突出。

ABSTRACT

Despite their excellent performance on in-distribution (ID) data, machine learning-based prediction systems often predict out-of-distribution (OOD) samples incorrectly while indicating high confidence. Instead, they should flag samples that are not similar to the training data, for example, when new classes emerge over time. Even though current OOD detection algorithms can successfully distinguish completely different data sets, they fail to reliably identify samples from novel classes. We develop a new ensemble-based procedure that promotes model diversity and exploits regularization to limit disagreement to only OOD samples, using a batch containing an unknown mixture of ID and OOD data. We show that our procedure significantly outperforms state-of-the-art methods, including those that have access, during training, to data that is known to be OOD. We run extensive comparisons of our approach on a variety of novel-class detection scenarios, on standard image data sets such as SVHN/CIFAR-10/CIFAR-100, as well as on new disease detection on medical image data sets.

研究动机与目标

• 为解决深度学习模型在检测分布外（OOD）样本方面存在的局限性，特别是那些在训练期间未见过的新类别。
• 在训练过程中未提供已知 OOD 数据的情况下，提升 OOD 检测性能。
• 开发一种方法，在促进模型多样性的同时，通过正则化仅限制 OOD 样本上的分歧。
• 在多样化场景下评估该方法，包括标准图像数据集和真实世界中的医学图像分类任务。

提出的方法

• 该方法使用深度神经网络的集成以增加模型多样性，并提升对 OOD 输入的鲁棒性。
• 引入一种正则化分歧损失，仅将模型分歧限制在 OOD 样本上，从而在分布内（ID）数据上鼓励一致预测。
• 训练过程采用包含 ID 和 OOD 样本的混合批次，使模型能够通过分歧模式学习区分 OOD 输入。
• 正则化部分确保在 ID 数据上抑制分歧，使模型在已知分布上更具置信度。
• 该方法在训练期间无需访问已知 OOD 数据，与许多现有方法不同。
• 最终预测基于集成输出，高分歧被用作 OOD 检测的信号。

实验结果

研究问题

• RQ1 基于集成的方法是否能在训练期间不访问已知 OOD 数据的情况下检测新类别？
• RQ2 与标准集成方法相比，正则化分歧如何提升 OOD 检测性能？
• RQ3 该方法是否能在包括医学影像和标准视觉基准在内的多样化数据分布上实现泛化？
• RQ4 当 OOD 样本来自新类别而非完全不同的数据集时，该方法表现如何？
• RQ5 该方法是否能在 CIFAR-10、CIFAR-100 和 SVHN 等标准图像数据集上实现最先进性能？

主要发现

• 所提出的方法即使在对比那些训练期间可访问已知 OOD 数据的方法时，也显著优于当前最先进 OOD 检测方法。
• 该方法在 CIFAR-10、CIFAR-100 和 SVHN 上表现优异，表明其在标准视觉基准上的强大鲁棒性。
• 它在医学图像数据集中有效检测出新类别，显示出超越标准图像识别任务的适用性。
• 模型在分布内数据上保持高置信度，同时在 OOD 输入上产生高分歧，表明检测结果可靠。
• 通过抑制 ID 数据上的误报，分歧的正则化显著提升了检测性能。
• 即使在训练期间未显式提供 OOD 数据，该方法依然有效，使其在真实世界部署中更具实用性。