[论文解读] Out-of-Distribution Detection with Distance Guarantee in Deep Generative Models

Yufeng Zhang, Wanwei Liu+6 more|arXiv (Cornell University)|Feb 9, 2020

Anomaly Detection Techniques and Applications参考文献 70被引用 7

一句话总结

本文提出了一种新颖的方法，通过利用分歧和几何的理论保证，实现深度生成模型中的分布外（OOD）检测。该方法引入了群体和点级异常检测方法，在所有基准测试中均实现了接近100%的AUROC，显著优于最先进方法，尤其在数据操作下表现更优。

ABSTRACT

Recent research has revealed that deep generative models including flow-based models and Variational autoencoders may assign higher likelihood to out-of-distribution (OOD) data than in-distribution (ID) data. However, we cannot sample out OOD data from the model. This counterintuitive phenomenon has not been satisfactorily explained. In this paper, we prove theorems to investigate the divergences in flow-based model and give two explanations to the above phenomenon from divergence and geometric perspectives, respectively. Based on our analysis, we propose two group anomaly detection methods. Furthermore, we decompose the KL divergence and propose a point-wise anomaly detection method. We have conducted extensive experiments on prevalent benchmarks to evaluate our methods. For group anomaly detection (GAD), our method can achieve near 100\% AUROC on all problems and has robustness against data manipulations. On the contrary, the state-of-the-art (SOTA) GAD method performs not better than random guessing for challenging problems and can be attacked by data manipulation in almost all cases. For point-wise anomaly detection (PAD), our method is comparable to the SOTA PAD method on one category of problems and outperforms the baseline significantly on another category of problems.

研究动机与目标

• 解释深度生成模型为何对分布外数据分配的似然度高于分布内数据这一反直觉现象。
• 利用流模型中的分歧和几何视角，为该行为提供理论基础。
• 设计具有可证明性能保证的稳健群体和点级异常检测方法。
• 在现有方法失效的数据操作场景下，提升OOD检测的可靠性。

提出的方法

• 对基于流模型的分歧进行理论分析，以解释为何OOD数据的似然度可能高于ID数据。
• 基于几何和分歧原理，提出群体异常检测（GAD）方法，确保距离保证。
• 对KL分歧进行分解，以实现点级异常检测（PAD），提升对单个异常值的敏感性。
• 设计对数据操作具有鲁棒性的异常检测方法，而不同于先前的最先进方法。
• 在标准基准上进行广泛评估，以验证性能和鲁棒性。

实验结果

研究问题

• RQ1 为何基于流的模型和VAE会对OOD数据分配的似然度高于ID数据？
• RQ2 我们能否利用分歧和几何分析，为这一反直觉行为提供理论解释？
• RQ3 我们能否设计对数据操作具有鲁棒性并实现近乎完美性能的异常检测方法？
• RQ4 所提出的KL分歧分解如何提升点级异常检测的性能？

主要发现

• 所提出的群体异常检测（GAD）方法在所有测试问题中均实现了接近100%的AUROC，显著优于最先进方法。
• 最先进GAD方法在具有挑战性的问题上表现仅相当于随机猜测，且易受数据操作影响。
• 所提出的GAD方法对数据操作保持鲁棒性，而最先进方法则极易受到攻击。
• 对于点级异常检测（PAD），该方法在一类问题上与最先进方法相当，在另一类问题上显著优于基线方法。