[论文解读] Unsupervised Industrial Anomaly Detection via Pattern Generative and Contrastive Networks

Jianfeng Huang, Chenyang Li+2 more|arXiv (Cornell University)|Jul 20, 2022

Anomaly Detection Techniques and Applications被引用 4

一句话总结

该论文提出了一种基于视觉Transformer（Vision Transformer）的无监督异常检测方法，结合了模式生成与对比学习，可在无需标注异常数据的情况下检测工业缺陷。通过使用基于ViT的解码器重建缺失的图像块，并利用孪生网络比较生成块与真实块，该方法在MVTec数据集上实现了99.8%的AUC，优于先前的SOTA方法。

ABSTRACT

It is hard to collect enough flaw images for training deep learning network in industrial production. Therefore, existing industrial anomaly detection methods prefer to use CNN-based unsupervised detection and localization network to achieve this task. However, these methods always fail when there are varieties happened in new signals since traditional end-to-end networks suffer barriers of fitting nonlinear model in high-dimensional space. Moreover, they have a memory library by clustering the feature of normal images essentially, which cause it is not robust to texture change. To this end, we propose the Vision Transformer based (VIT-based) unsupervised anomaly detection network. It utilizes a hierarchical task learning and human experience to enhance its interpretability. Our network consists of pattern generation and comparison networks. Pattern generation network uses two VIT-based encoder modules to extract the feature of two consecutive image patches, then uses VIT-based decoder module to learn the human designed style of these features and predict the third image patch. After this, we use the Siamese-based network to compute the similarity of the generation image patch and original image patch. Finally, we refine the anomaly localization by the bi-directional inference strategy. Comparison experiments on public dataset MVTec dataset show our method achieves 99.8% AUC, which surpasses previous state-of-the-art methods. In addition, we give a qualitative illustration on our own leather and cloth datasets. The accurate segment results strongly prove the accuracy of our method in anomaly detection.

研究动机与目标

• 解决工业场景中标注缺陷图像数据稀缺的挑战。
• 克服基于CNN的无监督方法在处理复杂纹理变化和非线性模式时的局限性。
• 提升在高维特征空间中对纹理变化的鲁棒性与泛化能力。
• 通过引入人工设计的模式先验和分层任务学习，增强模型的可解释性。
• 在工业数据集上实现异常检测与定位的最先进性能。

提出的方法

• 利用基于视觉Transformer（ViT）的编码器，从两个连续的图像块中提取特征。
• 采用基于ViT的解码器，基于编码特征生成第三个图像块，由人工设计的风格模式引导。
• 应用孪生网络计算生成块与原始真实标签块之间的相似度。
• 通过双向推理，整合多个空间视角的预测结果，以优化异常定位。
• 将分层任务学习与人类经验相结合，以提升模型可解释性与特征表示能力。
• 通过相似度计算引入对比学习，突出显示异常的偏差特征。

实验结果

研究问题

• RQ1 在异常数据有限的情况下，基于ViT的架构是否能优于基于CNN的模型，在无监督工业异常检测中表现更优？
• RQ2 使用人工设计的风格先验进行模式生成，在提升异常检测鲁棒性方面效果如何？
• RQ3 在生成块与真实块之间进行对比学习，在多大程度上提升了定位精度？
• RQ4 双向推理是否能改善异常定位的一致性与精确度？
• RQ5 该方法在具有复杂纹理与变化的真实工业数据集上泛化能力如何？

主要发现

• 所提方法在MVTec基准上实现了99.8%的AUC，超越了先前的SOTA方法。
• 在专有的皮革与织物数据集上的定性结果表明，异常分割具有高度的准确性和细节。
• 由于解耦的模式生成与对比学习机制，模型对纹理变化表现出强大的鲁棒性。
• 引入人工设计的风格先验显著增强了可解释性，并改善了高维空间中的特征表示。
• 双向推理通过减少误报并增强空间一致性，显著提升了定位精确度。
• 该方法在未见过的工业材料上泛化良好，已在真实世界数据集（超出公开基准）上得到验证。