[论文解读] Prototypical Residual Networks for Anomaly Detection and Localization

Hui Zhang, Zuxuan Wu+3 more|arXiv (Cornell University)|Dec 5, 2022

Anomaly Detection Techniques and Applications被引用 7

一句话总结

该论文提出原型残差网络（PRN），一种新颖的无监督异常检测与定位框架，通过原型和多尺寸自注意力机制，学习异常与正常模式之间的多尺度特征残差。PRN在MVTec AD、DAGM和BTAD基准上取得最先进性能，在图像级和像素级异常定位任务中均表现优异，在MVTec AD上的平均像素AUROC达到98.2%。

ABSTRACT

Anomaly detection and localization are widely used in industrial manufacturing for its efficiency and effectiveness. Anomalies are rare and hard to collect and supervised models easily over-fit to these seen anomalies with a handful of abnormal samples, producing unsatisfactory performance. On the other hand, anomalies are typically subtle, hard to discern, and of various appearance, making it difficult to detect anomalies and let alone locate anomalous regions. To address these issues, we propose a framework called Prototypical Residual Network (PRN), which learns feature residuals of varying scales and sizes between anomalous and normal patterns to accurately reconstruct the segmentation maps of anomalous regions. PRN mainly consists of two parts: multi-scale prototypes that explicitly represent the residual features of anomalies to normal patterns; a multisize self-attention mechanism that enables variable-sized anomalous feature learning. Besides, we present a variety of anomaly generation strategies that consider both seen and unseen appearance variance to enlarge and diversify anomalies. Extensive experiments on the challenging and widely used MVTec AD benchmark show that PRN outperforms current state-of-the-art unsupervised and supervised methods. We further report SOTA results on three additional datasets to demonstrate the effectiveness and generalizability of PRN.

研究动机与目标

• 解决工业缺陷检测中数据不平衡、异常外观细微以及异常尺寸/形状多变的挑战。
• 通过在多尺度上学习异常与正常模式之间的特征残差，提升异常定位精度。
• 通过多尺寸自注意力机制捕捉感受野内不同尺度的局部不一致性，实现对多样化异常的鲁棒检测。
• 通过使用像素级监督进行分割图重建，克服先前方法依赖图像级监督的局限性。
• 通过新颖的异常生成策略，提升训练过程中异常的泛化能力与多样性。

提出的方法

• 该框架利用来自中间特征图的多尺度原型来表示正常模式，保留空间信息，实现对正常模式的精确建模。
• 通过计算异常图像与各尺度下最近似原型之间的特征图残差，捕捉异常特异性偏差。
• 引入多尺度融合模块，实现在不同尺度间的信息交互，增强异常检测的特征表示能力。
• 多尺寸自注意力机制作用于不同感受野的图像块，以检测多空间尺度下的不一致性。
• 设计异常生成策略，以模拟已见与未见的外观变化，提升训练数据的多样性与鲁棒性。
• 通过像素级监督训练模型以重建真实异常分割图，实现精确的定位。

实验结果

研究问题

• RQ1 多尺度原型能否在保留空间细节的同时有效表征正常模式，从而支持异常检测？
• RQ2 多尺寸自注意力机制是否能提升对尺寸与形状多变异常的检测能力？
• RQ3 学习异常与原型化正常模式之间的特征残差，是否能比直接重建或单类建模带来更优的定位效果？
• RQ4 像素级监督用于分割图重建，是否能优于图像级监督，在定位细微异常方面表现更优？
• RQ5 PRN在包含多种异常类型与外观的多样化数据集上，泛化能力如何？

主要发现

• PRN在MVTec AD基准上达到98.2%的平均像素AUROC，优于所有先前的无监督与有监督方法。
• 在DAGM数据集上，PRN实现94.7%的图像AUROC与78.0%的pro得分，显著超越此前最先进方法。
• 在BTAD上，PRN实现97.1%的像素AUROC与54.0%的AP，展现出在不同工业缺陷类型上的强大泛化能力。
• 定性结果表明，PRN能准确定位各种尺寸与形状的异常，包括微小和不规则缺陷，同时显著减少在正常区域的误报。
• 与DRA和DevNet相比，PRN在图像级与像素级性能上均表现更优，解决了图像级评分高但像素级定位差的不一致性问题。
• 消融实验表明，多尺度原型与多尺寸自注意力机制是关键组件，移除后性能显著下降。