[论文解读] Robust Subspace Recovery Layer for Unsupervised Anomaly Detection

Chieh-Hsin Lai, Dongmian Zou+1 more|arXiv (Cornell University)|Mar 30, 2019

Anomaly Detection Techniques and Applications参考文献 50被引用 28

一句话总结

本文提出了一种用于无监督异常检测的新颖鲁棒子空间恢复自编码器（RSRAE），在自编码器中集成鲁棒子空间恢复（RSR）层，以从潜在表示中提取线性结构并过滤异常值。通过交替优化最小化重构误差和RSR误差，该方法在图像和文档数据集上实现了最先进（SOTA）的精确率与召回率。

ABSTRACT

We propose a neural network for unsupervised anomaly detection with a novel robust subspace recovery layer (RSR layer). This layer seeks to extract the underlying subspace from a latent representation of the given data and removes outliers that lie away from this subspace. It is used within an autoencoder. The encoder maps the data into a latent space, from which the RSR layer extracts the subspace. The decoder then smoothly maps back the underlying subspace to a "manifold" close to the original inliers. Inliers and outliers are distinguished according to the distances between the original and mapped positions (small for inliers and large for outliers). Extensive numerical experiments with both image and document datasets demonstrate state-of-the-art precision and recall.

研究动机与目标

• 解决高异常值比例数据集中传统方法失效的无监督异常检测问题。
• 开发一种深度学习框架，即使在异常值严重污染的情况下，也能稳健地恢复数据中的潜在线性结构。
• 通过集成可微分的RSR层改进现有基于自编码器的异常检测方法，以实现更优的子空间估计。
• 通过重构误差区分内点（接近原始位置）与异常值（远离原始位置），实现有效的异常检测。
• 在真实异常值条件下，于多样化数据集（包括图像和文本）上展示优越性能。

提出的方法

• 该模型使用自编码器，其中编码器将输入数据映射到潜在空间。
• 在编码器之后插入一种新颖的可微分RSR层，以鲁棒地提取低维子空间。
• 解码器从子空间重建数据，旨在使内点接近其原始位置，异常值远离原始位置。
• 总损失函数结合了重构误差和RSR误差，通过交替最小化自编码器和RSR参数进行优化。
• RSR层采用鲁棒优化框架，即使在大量点为异常值时也能恢复底层线性结构。
• 超参数λ₁和λ₂控制重构误差与RSR误差之间的权衡，消融实验表明在λ₁=λ₂=0.1附近性能稳定。

实验结果

研究问题

• RQ1 可微分的RSR层是否能提升高异常值比例场景下的无监督异常检测性能？
• RQ2 将RSR集成到自编码器架构中，相较于标准自编码器，如何增强子空间恢复与异常检测能力？
• RQ3 超参数λ₁和λ₂对模型在多样化数据集上的性能有何影响？
• RQ4 所提出的RSRAE在图像和文档数据集上的AUC与AP得分上是否优于现有最先进方法？
• RQ5 交替优化方案在存在噪声或损坏数据时，如何影响收敛性与鲁棒性？

主要发现

• RSRAE在Caltech 101、Fashion MNIST、Tiny ImageNet、Reuters-21578和20 Newsgroups数据集上实现了最先进（SOTA）的AUC与AP得分。
• 该方法在所有测试数据集上均优于AE、AE-1、DSEBMs、DAGMM和GT，尤其在高异常值比例设置下表现更优。
• RSRAE+（经超参数调优）性能与RSRAE相当，但RSRAE的交替最小化策略在λ₁与λ₂选择上更具稳定性且依赖性更低。
• RSRAE的AUC与AP得分对超参数选择具有鲁棒性，20 Newsgroups数据集上最优性能出现在λ₁=λ₂=0.1。
• 运行时分析表明，RSRAE在推理速度上优于DSEBMs、DAGMM和GT，与其他基于深度学习的方法相比具有竞争力。
• 在未使用深度特征时，Tiny ImageNet上的性能显著下降，表明高层特征对鲁棒检测至关重要。