[论文解读] Reconstruction from edge image combined with color and gradient difference for industrial surface anomaly detection

Tongkun Liu, Bing Li+4 more|arXiv (Cornell University)|Oct 26, 2022

Anomaly Detection Techniques and Applications被引用 14

一句话总结

本文提出 EdgRec，一种基于重建的工业表面异常检测方法，通过去噪自编码器与跳跃连接，从灰度边缘图重建RGB图像。通过强制模型记忆正常颜色与低频内容，同时保留高频边缘，并结合一种新型的色彩-梯度评估函数，该方法在 MVTec AD 上实现最先进性能（检测 AUROC 为 97.8%，定位 AUROC 为 97.7%），并在仅使用 RGB 图像的情况下，在 3D-AD 上也取得优异结果。

ABSTRACT

Reconstruction-based methods are widely explored in industrial visual anomaly detection. Such methods commonly require the model to well reconstruct the normal patterns but fail in the anomalies, and thus the anomalies can be detected by evaluating the reconstruction errors. However, in practice, it's usually difficult to control the generalization boundary of the model. The model with an overly strong generalization capability can even well reconstruct the abnormal regions, making them less distinguishable, while the model with a poor generalization capability can not reconstruct those changeable high-frequency components in the normal regions, which ultimately leads to false positives. To tackle the above issue, we propose a new reconstruction network where we reconstruct the original RGB image from its gray value edges (EdgRec). Specifically, this is achieved by an UNet-type denoising autoencoder with skip connections. The input edge and skip connections can well preserve the high-frequency information in the original image. Meanwhile, the proposed restoration task can force the network to memorize the normal low-frequency and color information. Besides, the denoising design can prevent the model from directly copying the original high-frequent components. To evaluate the anomalies, we further propose a new interpretable hand-crafted evaluation function that considers both the color and gradient differences. Our method achieves competitive results on the challenging benchmark MVTec AD (97.8\% for detection and 97.7\% for localization, AUROC). In addition, we conduct experiments on the MVTec 3D-AD dataset and show convincing results using RGB images only. Our code will be available at https://github.com/liutongkun/EdgRec.

研究动机与目标

• 为解决基于重建的异常检测中过度泛化与欠泛化的问题，即模型在正常变化下失效或能良好重建异常的情况。
• 提升高频正常纹理的重建保真度，减少因重建过程退化导致的误报。
• 通过结合色彩差异与梯度差异，设计一种更可解释且可调节的异常评估函数。
• 展示仅使用 RGB 图像在 2D 与 3D 工业缺陷检测基准上的有效性。

提出的方法

• 提出一种新颖的边缘到图像的重建任务：从灰度边缘图重建原始 RGB 图像。
• 采用带有跳跃连接的 UNet 风格去噪自编码器，以保留高频分量并提升特征恢复能力。
• 通过 DTD 纹理与 CutPaste 增广生成多尺度伪异常，以防止身份映射并增强鲁棒性。
• 采用去噪设计，通过合成异常对输入边缘进行污染，避免直接复制边缘特征。
• 设计一种新型手工构建的异常评估函数，结合色彩差异与梯度差异（MSGMS），以提升检测性能。
• 通过允许工程师根据特定领域需求重新加权各组件，实现模型的可解释性与可调性。

实验结果

研究问题

• RQ1 从边缘图重建是否能改善基于重建的异常检测模型的泛化边界？
• RQ2 基于边缘的重建与标准图像到图像的重建相比，在检测细微或高频异常时表现如何？
• RQ3 手工构建的色彩-梯度评估函数在性能上相较于 L2 或 SSIM 等标准指标，能提升多少？
• RQ4 所提出方法是否能泛化到仅使用 RGB 图像的 3D 表面缺陷检测？
• RQ5 不同伪异常生成策略对模型性能与鲁棒性的影响如何？

主要发现

• 所提出的 EdgRec 方法在 MVTec AD 基准上实现图像级异常检测 97.8% AUROC 与像素级定位 97.7% AUROC，优于现有基于重建的方法。
• 基于边缘的重建任务显著优于标准图像到图像的去噪自编码器（DeAE），尤其在检测基于色彩的缺陷（如 'cable swap'）方面。
• MSGMS 与所提出的基于色彩的评估函数结合后达到最高性能（97.8% AUROC），证明了多模态异常评分的有效性。
• 即使不引入额外伪异常，EdgRec 仍能取得具有竞争力的结果，凸显边缘到图像重建设计的内在优势。
• 该方法在仅使用 RGB 图像的情况下，能良好泛化至 MVTec 3D-AD 数据集的 3D 表面缺陷检测，展现出强大的实际部署潜力。
• 消融实验确认，边缘重建任务与色彩-梯度评估函数均为性能关键，各组件对最终结果均有显著贡献。