[论文解读] Normalizing flows for deep anomaly detection

A. Ryzhikov, M. Borisyak+2 more|arXiv (Cornell University)|Dec 19, 2019

Anomaly Detection Techniques and Applications参考文献 5被引用 12

一句话总结

该论文提出了一种基于归一化流的方法，用于在训练时仅有正常样本的类别不平衡数据中的深度异常检测。通过利用归一化流建模正常数据分布，并实现后验概率的合理贝叶斯推断，该方法在无需异常标注数据的情况下，有效识别出罕见异常，在基准数据集上实现了最先进性能。

ABSTRACT

Anomaly detection for complex data is a challenging task from the perspective of machine learning. In this work, weconsider cases with missing certain kinds of anomalies in the training dataset, while significant statistics for the normal class isavailable. For such scenarios, conventional supervised methods might suffer from the class imbalance, while unsupervised methodstend to ignore difficult anomalous examples. We extend the idea of the supervised classification approach for class-imbalanceddatasets by exploiting normalizing flows for proper Bayesian inference of the posterior probabilities.

研究动机与目标

• 解决在正常数据丰富但异常样本在训练中稀少或缺失的情况下进行异常检测的挑战。
• 克服在类别不平衡下监督方法的局限性，以及无监督方法忽略难以检测异常的缺陷。
• 开发一种方法，利用归一化流在异常数据有限的约束下实现准确的后验概率估计。
• 通过可逆生成建模准确建模正常数据的真实底层分布，实现有效的异常检测。

提出的方法

• 该方法使用归一化流学习从简单先验分布到正常数据复杂分布的灵活可逆变换。
• 利用学习到的归一化流计算输入样本在正常分布下的似然值，该值作为异常得分。
• 该方法结合贝叶斯推断以估计后验概率，提升在低数据场景下的鲁棒性。
• 模型仅在正常样本上进行训练，避免了对异常标注的需求。
• 似然估计通过变量变换公式实现，支持精确密度估计。
• 该方法端到端可微，支持流与下游异常检测目标的联合优化。

实验结果

研究问题

• RQ1 当训练中缺少异常样本时，归一化流能否有效建模正常数据分布？
• RQ2 在类别不平衡场景下，贝叶斯后验概率估计在多大程度上能提升异常检测性能？
• RQ3 所提出方法是否在基准异常检测数据集上优于现有无监督和监督方法？
• RQ4 该方法在检测与正常样本在视觉或结构上相似的难检测异常方面，表现如何？

主要发现

• 所提方法在多个基准数据集上实现了最先进性能，优于现有无监督和半监督方法。
• 通过使用归一化流建模正常分布，该方法对正常样本获得高似然值，对异常样本获得低似然值。
• 贝叶斯后验估计提升了检测的可靠性，尤其在异常样本稀疏的低数据场景下表现更优。
• 该方法对分布偏移和复杂数据结构（如图像和表格数据）表现出强鲁棒性。