[论文解读] Student-Teacher Feature Pyramid Matching for Unsupervised Anomaly Detection

Guodong Wang, Shumin Han+2 more|arXiv (Cornell University)|Mar 7, 2021

Anomaly Detection Techniques and Applications参考文献 37被引用 45

一句话总结

本文提出了一种用于无监督异常检测的学生-教师特征金字塔匹配框架，通过从预训练的教师网络到架构相同的学生的知识蒸馏，结合分层特征金字塔中的多尺度特征匹配，实现精确且高速的像素级异常检测。该方法在256×256图像上实现了高达100 FPS的推理速度，达到当前最先进性能。

ABSTRACT

Anomaly detection is a challenging task and usually formulated as an unsupervised learning problem for the unexpectedness of anomalies. This paper proposes a simple yet powerful approach to this issue, which is implemented in the student-teacher framework for its advantages but substantially extends it in terms of both accuracy and efficiency. Given a strong model pre-trained on image classification as the teacher, we distill the knowledge into a single student network with the identical architecture to learn the distribution of anomaly-free images and this one-step transfer preserves the crucial clues as much as possible. Moreover, we integrate the multi-scale feature matching strategy into the framework, and this hierarchical feature alignment enables the student network to receive a mixture of multi-level knowledge from the feature pyramid under better supervision, thus allowing to detect anomalies of various sizes. The difference between feature pyramids generated by the two networks serves as a scoring function indicating the probability of anomaly occurring. Due to such operations, our approach achieves accurate and fast pixel-level anomaly detection. Very competitive results are delivered on three major benchmarks, significantly superior to the state of the art ones. In addition, it makes inferences at a very high speed (with 100 FPS for images of the size at 256x256), at least dozens of times faster than the latest counterparts.

研究动机与目标

• 通过利用知识蒸馏学习正常图像的分布，以应对无监督异常检测的挑战。
• 通过在分层特征金字塔中进行多尺度特征匹配，提高对不同尺寸异常的检测精度。
• 在不牺牲性能的前提下实现高推理速度，支持实时部署。
• 提供一种简单但高效的框架，在标准基准上超越现有最先进方法。

提出的方法

• 利用预训练的图像分类模型作为教师网络，为知识蒸馏提供强监督信号。
• 采用与教师网络架构完全相同的学生成为网络，实现单步迁移的知识蒸馏，以保留关键特征。
• 通过在多个网络层上对齐学生和教师网络的特征金字塔，引入多尺度特征匹配。
• 将对应特征图之间的差异计算为异常分数，作为像素级异常概率的指示器。
• 通过在多个层级上进行分层监督，增强对不同空间尺度异常的敏感性。
• 优化训练过程，以最小化学生与教师网络在所有金字塔层级上的特征差异。

实验结果

研究问题

• RQ1 从预训练的教师网络进行知识蒸馏是否能提升学生网络在无监督异常检测中的表征学习能力？
• RQ2 在分层特征金字塔中进行多尺度特征匹配如何提升对不同尺寸异常的检测性能？
• RQ3 与最先进方法相比，所提出的框架在保持或提升准确率的同时，推理速度提升了多少？
• RQ4 具有相同架构的简单学生-教师框架是否能在标准异常检测基准上实现更优性能？

主要发现

• 所提方法在三个主要异常检测基准上取得了极具竞争力的结果，显著优于现有最先进方法。
• 该框架在256×256输入图像上实现了高达100帧每秒的推理速度，比最新最先进方法快至少数十倍。
• 采用多尺度特征匹配通过分层特征对齐，能够捕捉不同空间尺度上的异常，从而提升检测精度。
• 单步知识蒸馏过程有效保留了关键特征，使学生网络能够学习到鲁棒的正常图像分布表征。
• 学生与教师网络之间特征金字塔的差异，作为像素级异常定位的有效且可靠的评分函数。
• 该方法在多种异常类型和尺度下均保持高性能，展现出强大的泛化能力。