[论文解读] PyramidFlow: High-Resolution Defect Contrastive Localization using Pyramid Normalizing Flow

Jiarui Lei, Xiaobo Hu+2 more|arXiv (Cornell University)|Mar 5, 2023

Industrial Vision Systems and Defect Detection被引用 5

一句话总结

PyramidFlow 提出了一种使用可逆金字塔归一化流来建模复杂正常数据分布的高分辨率缺陷定位方法。通过整合金字塔特征分解、体积归一化和潜在模板学习，该方法在 MVTec AD 和 BTAD 基准测试中实现了最先进性能，在检测细粒度和小缺陷方面实现了精确的定位。

ABSTRACT

During industrial processing, unforeseen defects may arise in products due to uncontrollable factors. Although unsupervised methods have been successful in defect localization, the usual use of pre-trained models results in low-resolution outputs, which damages visual performance. To address this issue, we propose PyramidFlow, the first fully normalizing flow method without pre-trained models that enables high-resolution defect localization. Specifically, we propose a latent template-based defect contrastive localization paradigm to reduce intra-class variance, as the pre-trained models do. In addition, PyramidFlow utilizes pyramid-like normalizing flows for multi-scale fusing and volume normalization to help generalization. Our comprehensive studies on MVTecAD demonstrate the proposed method outperforms the comparable algorithms that do not use external priors, even achieving state-of-the-art performance in more challenging BTAD scenarios.

研究动机与目标

• 解决工业图像异常检测中高分辨率、精确缺陷定位的挑战。
• 克服现有方法生成模糊或粗糙异常图的局限性。
• 通过可逆特征金字塔保留空间分辨率，实现出色的缺陷定位能力。
• 通过在多种缺陷类型（尤其是纹理丰富和类物体类别）中提升泛化能力和鲁棒性。
• 引入可学习的潜在模板和体积归一化，以更有效地建模复杂的正常数据分布。

提出的方法

• 使用可逆金字塔分解在多尺度上进行下采样和特征重建，以保留空间信息。
• 采用金字塔耦合模块，结合仿射耦合与体积归一化，实现基于流的可逆特征变换。
• 应用通道体积归一化（CVN），在不改变标准差的前提下归一化通道均值，从而稳定训练过程。
• 引入可学习的潜在模板以建模正常数据分布，支持对比学习用于异常检测。
• 使用傅里叶损失以在重建特征中保留高频细节，提升定位保真度。
• 通过拼接和自适应归一化结合多尺度特征，增强跨尺度的表征学习能力。

实验结果

研究问题

• RQ1 与现有方法相比，基于多尺度特征金字塔的可逆归一化流是否能提升高分辨率缺陷定位性能？
• RQ2 体积归一化在基于归一化流的异常检测中对训练稳定性和性能有何贡献？
• RQ3 潜在模板在多种缺陷类型中对重建质量与异常检测准确率的提升程度如何？
• RQ4 该方法在定位小缺陷或细粒度缺陷（如裂纹或高频噪声图案）方面的有效性如何？
• RQ5 傅里叶损失的引入是否能有效提升重建图像中高频细节的保留，从而改善异常定位？

主要发现

• 在 MVTec AD 数据集上，PyramidFlow 的平均像素 AUROC 达到 95.7%，优于所有基线方法，包括 SPADE、PaDiM 和 AE-SSIM。
• 在具有挑战性的 BTAD 数据集上，PyramidFlow 的平均像素 AUROC 达到 93.3%，在 01、02 和 03 等复杂类别中表现出更优的定位精度。
• 消融实验表明，若移除体积归一化，性能显著下降，尤其在纹理类别中（例如，地毯类 AUROC 从 90.8% 降至 88.5%）。
• 潜在模板对性能至关重要，其移除导致所有类别平均像素 AUROC 下降 2.5 个百分点。
• 金字塔差异（多尺度建模）对类物体缺陷影响较小，但在纹理类别中至关重要，其移除导致地毯类 AUROC 下降 15.5%。
• 可视化结果表明，PyramidFlow 生成的异常掩码比 SPADE 和 PaDiM 更清晰、更精确，后者常产生模糊或过大的预测结果。