[论文解读] Supervised Anomaly Detection based on Deep Autoregressive Density Estimators

Tomoharu Iwata, Yuki Yamanaka|arXiv (Cornell University)|Apr 12, 2019

Anomaly Detection Techniques and Applications参考文献 49被引用 8

一句话总结

该论文提出了一种使用深度自回归密度估计器的监督异常检测方法，通过对正常样本最大化似然、对异常样本最小化似然，并引入对数似然比正则化项，实现联合优化。该方法在16个数据集上实现了最先进性能，尤其在仅有少量标注异常样本时表现优异，通过精确密度估计和标签感知训练，超越了无监督和监督基线方法。

ABSTRACT

We propose a supervised anomaly detection method based on neural density estimators, where the negative log likelihood is used for the anomaly score. Density estimators have been widely used for unsupervised anomaly detection. By the recent advance of deep learning, the density estimation performance has been greatly improved. However, the neural density estimators cannot exploit anomaly label information, which would be valuable for improving the anomaly detection performance. The proposed method effectively utilizes the anomaly label information by training the neural density estimator so that the likelihood of normal instances is maximized and the likelihood of anomalous instances is lower than that of the normal instances. We employ an autoregressive model for the neural density estimator, which enables us to calculate the likelihood exactly. With the experiments using 16 datasets, we demonstrate that the proposed method improves the anomaly detection performance with a few labeled anomalous instances, and achieves better performance than existing unsupervised and supervised anomaly detection methods.

研究动机与目标

• 解决无监督神经密度估计器无法利用异常标签信息的局限性。
• 在仅有少量标注异常样本可用时，提升异常检测性能。
• 结合密度估计的优势（用于检测低密度区域）与监督学习的优势（用于判别边界学习）。
• 设计一种可微分的目标函数，通过正则化平衡正常数据的似然最大化与异常判别能力。
• 在多样化的现实世界数据集上，证明该方法在性能上优于现有无监督和监督异常检测方法。

提出的方法

• 使用深度自回归模型（如MADE）对数据密度进行建模，并实现精确的似然计算。
• 将异常得分定义为实例在学习到的密度模型下的负对数似然。
• 提出一种联合目标函数，最大化正常样本的对数似然，同时通过一个对数似然比正则化项惩罚异常样本的高似然值。
• 引入一个超参数λ，用于平衡似然最大化与异常判别之间的权衡。
• 使用随机梯度下降在可微分目标函数上进行训练，实现端到端优化。
• 利用验证数据对λ进行调优，使模型能根据数据集特性自动优先考虑似然性或判别性。

实验结果

研究问题

• RQ1 神经密度估计器能否在保持精确似然计算的同时，有效利用异常标签信息进行训练？
• RQ2 通过正则化项引入标签信息是否能提升异常检测性能，尤其是在标注异常样本极少的情况下？
• RQ3 与无监督密度估计器和标准监督分类器相比，该方法在AUC指标和跨多样化数据集的鲁棒性方面表现如何？
• RQ4 似然最大化与异常判别之间的最优平衡点是什么？该平衡点在不同数据集中如何变化？
• RQ5 该方法能否检测到无正常样本的区域中的异常，以及密集异常簇中的异常？这些情况是传统方法失效的区域。

主要发现

• 在16个基准数据集上，该方法在10种对比方法中平均AUC最高。
• 仅使用3个标注异常样本时，该方法在多个数据集上实现了0.859的平均AUC，显著优于无监督方法（如MADE）和监督基线方法（如SVM）。
• 在Annthyroid、PenDigits和Wilt数据集上，该方法优于无监督MADE基线，AUC提升具有统计显著性。
• 平均AUC从0个异常样本时的0.807提升至5个异常样本时的0.859，显示出极强的数据效率。
• 超参数λ被发现具有数据集依赖性，最优值范围从低到高不等，表明需要自适应调优。
• 在一项合成示例中，该方法成功检测出所有测试异常，而无监督和监督方法在密集正常区域中未能检测到异常。