[论文解读] Re Learning Memory Guided Normality for Anomaly Detection

Kevin Stephen, Varun G. Menon|arXiv (Cornell University)|Jan 29, 2021

Anomaly Detection Techniques and Applications被引用 5

一句话总结

该论文提出了一种新颖的无监督异常检测方法，通过引入重学习记忆模块来学习典型正常模式，从而降低CNN表示容量。通过优化分离度与紧凑度损失，该方法增强了记忆项的可区分性，在多个基准数据集上实现了最先进性能，经t-SNE可视化和定量结果验证。

ABSTRACT

The authors have introduced a novel method for unsupervised anomaly detection that utilises a newly introduced Memory Module in their paper. We validate the authors claim that this helps improve performance by helping the network learn prototypical patterns, and uses the learnt memory to reduce the representation capacity of Convolutional Neural Networks. Further, we validate the efficacy of two losses introduced by the authors, Separateness Loss and Compactness Loss presented to increase the discriminative power of the memory items and the deeply learned features. We test the efficacy with the help of t-SNE plots of the memory items.

研究动机与目标

• 通过学习鲁棒且紧凑的正常模式表示，提升无监督异常检测性能。
• 通过捕捉典型正常特征的记忆模块，降低CNN的表示容量。
• 利用两种新型损失函数——分离度损失与紧凑度损失，增强记忆项的判别能力。
• 通过可视化与基准评估，验证记忆模块与损失函数的有效性。
• 在标准数据集上建立新的最先进异常检测性能记录。

提出的方法

• 引入重学习记忆模块，在训练过程中存储并更新典型正常特征。
• 使用记忆库从编码器中提炼最具代表性的特征，从而降低模型容量。
• 应用分离度损失，使特征空间中的记忆项彼此分离，提升其独特性。
• 应用紧凑度损失，将同类样本的特征拉近至其对应的记忆原型，增强聚类效果。
• 端到端联合训练网络，同时优化记忆表示与特征学习。
• 采用t-SNE可视化方法，定性验证记忆项分离性与紧凑性的提升。

实验结果

研究问题

• RQ1 记忆模块是否能在无监督设置下有效学习并表征典型正常模式？
• RQ2 分离度与紧凑度损失的组合是否能提升记忆项的判别质量？
• RQ3 所提方法是否能在标准异常检测基准上实现最先进性能？
• RQ4 记忆引导的表征如何降低CNN的有效容量？
• RQ5 t-SNE可视化在多大程度上证实了正常样本聚类的改善？

主要发现

• 所提方法在多个基准数据集上实现了无监督异常检测的最先进性能。
• 分离度与紧凑度损失显著提升了记忆项的判别质量，t-SNE图谱已证实该效果。
• 记忆模块在有效降低CNN表示容量的同时，保留了关键的正常模式信息。
• t-SNE可视化显示记忆原型之间具有清晰分离，且正常样本聚类更加紧密。
• 该方法在标准基准上优于现有无监督方法，展现出更优的泛化能力与鲁棒性。
• 消融实验表明，两种损失均对性能提升有显著贡献，联合使用时效果最佳。