[论文解读] PaDiM: a Patch Distribution Modeling Framework for Anomaly Detection and Localization

Defard Thomas, Aleksandr Setkov+2 more|arXiv (Cornell University)|Nov 17, 2020

Anomaly Detection Techniques and Applications被引用 15

一句话总结

PaDiM 提出了一种新颖的一类异常检测与定位框架，通过使用预训练卷积神经网络（CNN）和多变量高斯分布对正常图像块进行分布建模。该方法在 MVTec AD 和 STC 数据集上实现了最先进（SOTA）的性能，具有较低的推理时间和内存复杂度，尤其在非对齐数据上优于先前方法。

ABSTRACT

We present a new framework for Patch Distribution Modeling, PaDiM, to concurrently detect and localize anomalies in images in a one-class learning setting. PaDiM makes use of a pretrained convolutional neural network (CNN) for patch embedding, and of multivariate Gaussian distributions to get a probabilistic representation of the normal class. It also exploits correlations between the different semantic levels of CNN to better localize anomalies. PaDiM outperforms current state-of-the-art approaches for both anomaly detection and localization on the MVTec AD and STC datasets. To match real-world visual industrial inspection, we extend the evaluation protocol to assess performance of anomaly localization algorithms on non-aligned dataset. The state-of-the-art performance and low complexity of PaDiM make it a good candidate for many industrial applications.

研究动机与目标

• 解决工业视觉检测中异常罕见且无标签的异常检测与定位挑战。
• 克服现有方法在推理阶段依赖 K-NN 或微调深度网络所导致的可扩展性问题。
• 开发一种时间与内存复杂度与训练数据集规模无关的低复杂度方法，以支持实际部署。
• 通过建模预训练 CNN 多个语义层级之间的相关性，提升定位精度。
• 将评估扩展至非对齐数据集，以更真实地反映工业检测的实际场景。

提出的方法

• 利用预训练的卷积神经网络（CNN）从多个特征图层提取图像块级别的嵌入表示。
• 将每个空间图像块位置建模为多变量高斯分布，其均值 μ 和协方差 Σ 由训练嵌入学习得到。
• 利用 CNN 不同语义层级之间的跨层级相关性，提升定位精度。
• 在嵌入空间中使用马氏距离计算异常分数，综合多个层级的信息。
• 采用基于图像块的非参数化方法，避免在测试阶段训练深层网络。
• 支持灵活的主干网络选择（如 ResNet-18、ResNet-50），以在精度与推理速度之间取得平衡。

实验结果

研究问题

• RQ1 基于预训练 CNN 的图像块分布建模方法是否能在异常检测与定位任务中实现最先进性能？
• RQ2 PaDiM 在非对齐数据集上的表现如何？这类数据更贴近真实工业检测场景。
• RQ3 与单层级方法相比，建模 CNN 特征中的跨层级相关性是否能提升定位精度？
• RQ4 PaDiM 是否能在保持低推理时间与内存使用的同时，超越基于 K-NN 或自编码器的方法？
• RQ5 在时间与内存复杂度方面，该方法在输入分辨率和数据集规模增大时的可扩展性如何？

主要发现

• 在非对齐的 MVTec AD 基准测试中，PaDiM 在所有纹理类别上达到 92.4% 的 SOTA AUROC，在所有类别上达到 92.2%。
• 在 STC 数据集上，PaDiM-WR50-Rd550 在物体类别上实现 92.1% 的 AUROC 和 70.8% 的 PRO 分数，优于 VAE 与 SPADE。
• 与 VAE（-12.2 个百分点）和 SPADE（-8.8 个百分点）相比，PaDiM 在非对齐 MVTec AD 上的性能仅下降 5.3 个百分点。
• PaDiM-WR50-Rd550 在 MVTec AD 上的推理时间为 0.95 秒（CPU），显著快于使用相同主干网络的 SPADE 的 7.10 秒。
• PaDiM 的内存使用量与训练集规模无关，仅需 3.8 GB（MVTec AD）和 5.2 GB（STC），而 SPADE 在 STC 上需 37.0 GB。
• PaDiM 在 MVTec AD 上每类的训练时间为 150 秒（CPU），远快于 VAE 在 GPU 上每类 2 小时 40 分钟的训练时间，且无需任何微调。