[论文解读] Student-Teacher Feature Pyramid Matching for Anomaly Detection

Guodong Wang, Shumin Han+2 more|arXiv (Cornell University)|Mar 7, 2021

Anomaly Detection Techniques and Applications参考文献 45被引用 104

一句话总结

论文提出一个单学生、单教师框架，结合多尺度特征金字塔匹配，以高效检测像素级异常，在 MVTec AD 上达到最先进的结果。

ABSTRACT

Anomaly detection is a challenging task and usually formulated as an one-class learning problem for the unexpectedness of anomalies. This paper proposes a simple yet powerful approach to this issue, which is implemented in the student-teacher framework for its advantages but substantially extends it in terms of both accuracy and efficiency. Given a strong model pre-trained on image classification as the teacher, we distill the knowledge into a single student network with the identical architecture to learn the distribution of anomaly-free images and this one-step transfer preserves the crucial clues as much as possible. Moreover, we integrate the multi-scale feature matching strategy into the framework, and this hierarchical feature matching enables the student network to receive a mixture of multi-level knowledge from the feature pyramid under better supervision, thus allowing to detect anomalies of various sizes. The difference between feature pyramids generated by the two networks serves as a scoring function indicating the probability of anomaly occurring. Due to such operations, our approach achieves accurate and fast pixel-level anomaly detection. Very competitive results are delivered on the MVTec anomaly detection dataset, superior to the state of the art ones.

研究动机与目标

• 将异常检测作为单类问题处理并实现精准定位。
• 利用在图像分类上预训练的教师网络来引导紧凑的学生网络。
• 结合多尺度特征金字塔匹配以检测不同大小的异常。
• 提供一种高效的一次性方法，实现快速的像素级异常定位。

提出的方法

• 使用一个在 ImageNet 上预训练的教师网络，并在单步中将其知识蒸馏到架构相同的学生网络。
• 从教师和学生的多个底层层（一个特征金字塔）的特征中提取并对每像素向量进行归一化。
• 通过最小化 pyramid 中对应空间位置上的 L2 规范化特征向量之间的 L2 距离来训练（余弦距离代理）。
• 把跨尺度的教师和学生特征之间的 L2 距离差异作为每像素异常分数，并将上采样后的映射相乘形成最终的异常图。
• 将最终异常图中的最大值作为图像级异常分数，以实现像素级定位和快速推断。

实验结果

研究问题

• RQ1 单个学生网络在多尺度特征金字塔匹配下是否能在正常数据上接近教师的特征？
• RQ2 多尺度特征共享是否能提升对不同尺寸对象的异常定位？
• RQ3 在标准图像数据集上对教师进行预训练的迁移到异常检测任务的效果如何？
• RQ4 在有限训练数据（少样本设定）下，该方法的鲁棒性如何？

主要发现

• 在 MVTec AD 数据集上对像素级异常检测的若干最先进方法表现优越。
• 多尺度特征金字塔匹配比单尺度特征匹配获得更好性能，中间层特征（block 3 与 4）提供了强有力的指导。
• 在 ImageNet 和 CIFAR-10/CIFAR-100 预训练的教师模型在这项任务中比 MNIST/SVHN 提供更好的迁移。
• 该方法在有限训练数据（5–10%）时仍然有效，在少样本场景中表现优于基线。
• 通过金字塔的单次前向传播即可在多个尺度上实现对异常的准确定位。