[论文解读] Reconstruction Error-based Anomaly Detection with Few Outlying Examples

Fabrizio Angiulli, Fabio Fassetti+1 more|arXiv (Cornell University)|May 17, 2023

Anomaly Detection Techniques and Applications被引用 6

一句话总结

本文提出了一种新型半监督异常检测方法 AE–SAD，通过在损失函数中引入少量已标注的异常样本，增强基于重构误差的自编码器性能。该方法提高了正常样本与异常样本重构误差之间的对比度，在已知和未知异常类别上均显著提升了检测性能，即使在数据污染或分布偏移的情况下也表现优异。

ABSTRACT

Reconstruction error-based neural architectures constitute a classical deep learning approach to anomaly detection which has shown great performances. It consists in training an Autoencoder to reconstruct a set of examples deemed to represent the normality and then to point out as anomalies those data that show a sufficiently large reconstruction error. Unfortunately, these architectures often become able to well reconstruct also the anomalies in the data. This phenomenon is more evident when there are anomalies in the training set. In particular when these anomalies are labeled, a setting called semi-supervised, the best way to train Autoencoders is to ignore anomalies and minimize the reconstruction error on normal data. The goal of this work is to investigate approaches to allow reconstruction error-based architectures to instruct the model to put known anomalies outside of the domain description of the normal data. Specifically, our strategy exploits a limited number of anomalous examples to increase the contrast between the reconstruction error associated with normal examples and those associated with both known and unknown anomalies, thus enhancing anomaly detection performances. The experiments show that this new procedure achieves better performances than the standard Autoencoder approach and the main deep learning techniques for semi-supervised anomaly detection.

研究动机与目标

• 解决标准自编码器在混合正常与异常数据上训练时无意中重构异常样本的局限性。
• 开发一种利用少量已标注异常样本提升基于重构误差的异常检测泛化能力的方法。
• 增强正常数据与已知及未知异常样本之间重构误差的对比度，提升检测鲁棒性。
• 在包含数据污染和分布偏移等挑战性条件下的表格数据和图像数据上评估该方法。
• 证明所提出方法优于当前最先进的无监督和半监督异常检测技术。

提出的方法

• 为自编码器引入一种新型损失函数，明确惩罚已知异常样本的低重构误差，从而促使异常样本被不良重构。
• 通过增加正常样本与异常样本重构误差之间的差距，在标准自编码器训练目标中引入对比项。
• 将 AE–SAD 算法应用于表格数据和图像数据，采用标准前馈或卷积自编码器架构。
• 引入超参数以控制最小化正常样本重构误差与最大化异常样本重构误差之间的权衡。
• 仅使用正常数据和已知异常样本进行模型训练，避免在训练过程中使用未标注异常样本，以保持领域分离。
• 使用 AUC 作为主要评估指标，以评估在多样化异常场景下的检测性能。

实验结果

研究问题

• RQ1 少量已标注异常样本是否能显著提升基于重构误差的自编码器在半监督异常检测中的性能？
• RQ2 所提出的 AE–SAD 方法是否在检测已知和未知异常方面优于标准自编码器及其他最先进的深度学习方法？
• RQ3 AE–SAD 对数据污染（如训练集中误标异常样本）的鲁棒性如何？
• RQ4 当测试异常属于训练期间未见过的类别时，AE–SAD 的泛化能力如何？
• RQ5 AE–SAD 对超参数选择的敏感性如何？达到最优性能需要多少训练轮次？

主要发现

• AE–SAD 在表格数据和图像数据上均达到最先进性能，在半监督异常检测中优于标准自编码器和领先的深度学习方法。
• 在 MNIST 和 E-MNIST 数据集上，AE–SAD 在 one-vs-all 设置下 AUC 达到 .98 ± .00，在 one-vs-many 设置下达到 .99 ± .00，始终排名第一或第二。
• 在 many-vs-many 场景中，当测试异常属于训练集中未出现的类别时，AE–SAD 的 AUC 为 .92 ± .01，优于 $A^{3}$ 的 .88 ± .03。
• 即使训练集污染率达 15%，AE–SAD 仍保持强劲性能，表现出对误标正常数据的鲁棒性。
• 该方法在未知异常类别上泛化效果良好，当测试异常来自与训练异常不同分布时，展现出更优的检测能力。
• 敏感性分析表明，AE–SAD 对超参数选择不敏感，且在较少轮次内即可收敛。