[论文解读] Optimizing PatchCore for Few/many-shot Anomaly Detection

João Santos, Triet Tran+1 more|arXiv (Cornell University)|Jul 20, 2023

Anomaly Detection Techniques and Applications被引用 7

一句话总结

该论文通过调整超参数并应用领域感知的数据增强，对当前最先进的异常检测模型 PatchCore 进行优化，以适应少样本和多样本设置。在 VisA 数据集上取得了新的 SOTA 性能，并在 CVPR 2023 VAND 挑战赛中获得第一名，表明在低数据环境下，对现有模型进行适配可超越新设计的方法。

ABSTRACT

Few-shot anomaly detection (AD) is an emerging sub-field of general AD, and tries to distinguish between normal and anomalous data using only few selected samples. While newly proposed few-shot AD methods do compare against pre-existing algorithms developed for the full-shot domain as baselines, they do not dedicatedly optimize them for the few-shot setting. It thus remains unclear if the performance of such pre-existing algorithms can be further improved. We address said question in this work. Specifically, we present a study on the AD/anomaly segmentation (AS) performance of PatchCore, the current state-of-the-art full-shot AD/AS algorithm, in both the few-shot and the many-shot settings. We hypothesize that further performance improvements can be realized by (I) optimizing its various hyperparameters, and by (II) transferring techniques known to improve few-shot supervised learning to the AD domain. Exhaustive experiments on the public VisA and MVTec AD datasets reveal that (I) significant performance improvements can be realized by optimizing hyperparameters such as the underlying feature extractor, and that (II) image-level augmentations can, but are not guaranteed, to improve performance. Based on these findings, we achieve a new state of the art in few-shot AD on VisA, further demonstrating the merit of adapting pre-existing AD/AS methods to the few-shot setting. Last, we identify the investigation of feature extractors with a strong inductive bias as a potential future research direction for (few-shot) AD/AS.

研究动机与目标

• 探究预训练的全样本异常检测方法（如 PatchCore）是否可通过超参数优化在少样本和多样本设置下得到改进。
• 评估监督学习中的数据增强技术在少样本/多样本异常检测中的有效性。
• 探索架构归纳偏置（如平移等变性）是否能提升低数据环境下的性能。
• 在 VisA 基准上建立少样本异常检测的新 SOTA。
• 提供可复现的、针对少样本/多样本设置优化的 PatchCore 实现。

提出的方法

• 在 VisA 和 MVTec AD 数据集上进行详尽消融实验，对 PatchCore 的超参数进行优化，重点聚焦于特征提取器架构和输入分辨率。
• 应用图像级数据增强（如颜色抖动、随机裁剪），并进行领域特定调优，以提升低样本设置下的泛化能力。
• 集成抗混叠层以强制实现平移等变性，增强 CNN 主干网络的归纳偏置。
• 使用贪心共视集子采样方法减少内存库大小，同时不损失性能。
• 将优化后的组件整合为统一的端到端少样本异常检测流水线。
• 基于优化后的设置重新实现并基准化 PatchCore，使用标准指标（AUROC）与 SOTA 方法进行对比。

实验结果

研究问题

• RQ1 PatchCore 的超参数调优是否能显著提升其在少样本和多样本异常检测中的性能？
• RQ2 若针对异常检测领域精心设计，监督学习中的数据增强技术是否能提升少样本异常检测性能？
• RQ3 通过抗混叠或等变性增强特征提取器的归纳偏置，是否能提升低数据环境下的性能？
• RQ4 优化带来的性能提升是否足以超越现有少样本 AD 的 SOTA 方法？
• RQ5 共视集子采样是否能在不降低性能的前提下减少内存占用？

主要发现

• 优化特征提取器和输入分辨率带来了显著的性能提升，PatchCore 在 MVTec AD 数据集 4-shot 设置下达到 88.7% 的平均 AUROC，在 VisA 数据集 4-shot 设置下达到 86.4%。
• 当经过仔细调优时，图像级增强技术可提升少样本性能，但不当应用会降低结果，凸显了领域感知设计的必要性。
• 强制实现平移等变性的抗混叠层提升了性能，表明在低数据环境下更强的归纳偏置对特征提取器有益。
• 贪心共视集子采样在不损害性能的前提下减少了内存库大小，实现了高效推理同时保持精度。
• 优化后的 PatchCore 模型在 VisA 数据集的少样本设置下达到了新的 SOTA 性能，超越了先前的 SOTA 方法。
• 该方法在 CVPR 2023 VAND 挑战赛的少样本异常检测赛道中获得第一名，验证了其在真实场景中的有效性。