[论文解读] Reconstruction Student with Attention for Student-Teacher Pyramid Matching

Shinji Yamada, Kazuhiro Hotta|arXiv (Cornell University)|Nov 30, 2021

Anomaly Detection Techniques and Applications参考文献 30被引用 16

一句话总结

该论文提出了一种双学生-教师网络框架，通过引入带有自注意力机制的重建分支，提升了无监督异常检测的性能。通过训练两组独立的学生-教师网络——一组用于特征金字塔匹配，另一组用于利用注意力机制重建正常特征——该方法提高了异常定位和检测的准确性，在像素级和图像级基准测试中均取得了高于原始STPM方法的AUC分数。

ABSTRACT

Anomaly detection and localization are important problems in computer vision. Recently, Convolutional Neural Network (CNN) has been used for visual inspection. In particular, the scarcity of anomalous samples increases the difficulty of this task, and unsupervised leaning based methods are attracting attention. We focus on Student-Teacher Feature Pyramid Matching (STPM) which can be trained from only normal images with small number of epochs. Here we proposed a powerful method which compensates for the shortcomings of STPM. Proposed method consists of two students and two teachers that a pair of student-teacher network is the same as STPM. The other student-teacher network has a role to reconstruct the features of normal products. By reconstructing the features of normal products from an abnormal image, it is possible to detect abnormalities with higher accuracy by taking the difference between them. The new student-teacher network uses attention modules and different teacher network from the original STPM. Attention mechanism acts to successfully reconstruct the normal regions in an input image. Different teacher network prevents looking at the same regions as the original STPM. Six anomaly maps obtained from the two student-teacher networks are used to calculate the final anomaly map. Student-teacher network for reconstructing features improved AUC scores for pixel level and image level in comparison with the original STPM.

研究动机与目标

• 解决在缺乏或仅有极少异常训练数据的工业图像中检测异常的挑战。
• 改进学生-教师特征金字塔匹配（STPM）方法的性能，该方法在特征重建保真度方面存在不足。
• 通过引入带有注意力机制的专用重建分支，提升异常定位和检测的准确性。
• 通过在重建分支中使用与原始STPM不同的教师网络，减少特征学习中的冗余性。
• 结合来自两个不同学生-教师网络的多个异常图，以获得更鲁棒的最终异常预测结果。

提出的方法

• 该方法采用两个并行的学生-教师网络：一个用于标准特征金字塔匹配（STPM），另一个用于从正常图像中重建特征。
• 重建分支使用学生网络从输入图像中预测特征，而一个独立的教师网络则提供监督信号以指导重建过程。
• 在重建分支中集成注意力机制，以聚焦于正常区域，提升特征重建质量。
• 注意力模块有助于模型关注空间上连贯且语义上有意义的区域，从而增强重建保真度。
• 通过比较两个网络之间的特征，生成六个异常图——三个来自STPM分支，三个来自重建分支。
• 通过聚合六个独立的异常图计算最终的异常图，从而提升整体检测的鲁棒性。

实验结果

研究问题

• RQ1 是否可以通过引入带有注意力机制的专用重建分支，提升无监督设置下的异常检测性能？
• RQ2 在重建分支中使用不同的教师网络是否能防止特征冗余并提升泛化能力？
• RQ3 基于注意力的特征重建与标准特征匹配在异常检测中的表现有何差异？
• RQ4 结合来自不同学生-教师配置的多个异常图是否能提升检测与定位的准确性？
• RQ5 在像素级和图像级异常检测任务中，所提出方法相较于原始STPM在AUC指标上的提升程度如何？

主要发现

• 所提出方法在像素级和图像级异常检测基准测试中，均取得了高于原始STPM的AUC分数。
• 注意力机制显著提升了特征重建质量，尤其是在异常图像的正常区域中。
• 在重建分支中使用不同的教师网络可有效减少特征冗余，并增强模型的泛化能力。
• 通过聚合来自两个不同学生-教师网络的六个异常图，实现了更鲁棒且准确的异常定位。
• 基于重建的分支对异常检测有显著贡献，尤其在处理细微或复杂异常时表现突出。
• 该方法在仅使用正常图像进行训练的情况下表现出色，证实了其在低数据量异常检测场景下的有效性。