[论文解读] Understanding Anomaly Detection with Deep Invertible Networks through Hierarchies of Distributions and Features

Robin Tibor Schirrmeister, Yuxuan Zhou+2 more|arXiv (Cornell University)|Jun 18, 2020

Anomaly Detection Techniques and Applications参考文献 36被引用 31

一句话总结

本文分析了基于似然的异常检测在可逆生成模型中为何会被低级特征偏置，并提出两种基于层级的检测方法：跨分布的似然比和使用最终尺度的似然贡献，具备强烈的无监督表现和具有竞争力的有监督结果。

ABSTRACT

Deep generative networks trained via maximum likelihood on a natural image dataset like CIFAR10 often assign high likelihoods to images from datasets with different objects (e.g., SVHN). We refine previous investigations of this failure at anomaly detection for invertible generative networks and provide a clear explanation of it as a combination of model bias and domain prior: Convolutional networks learn similar low-level feature distributions when trained on any natural image dataset and these low-level features dominate the likelihood. Hence, when the discriminative features between inliers and outliers are on a high-level, e.g., object shapes, anomaly detection becomes particularly challenging. To remove the negative impact of model bias and domain prior on detecting high-level differences, we propose two methods, first, using the log likelihood ratios of two identical models, one trained on the in-distribution data (e.g., CIFAR10) and the other one on a more general distribution of images (e.g., 80 Million Tiny Images). We also derive a novel outlier loss for the in-distribution network on samples from the more general distribution to further improve the performance. Secondly, using a multi-scale model like Glow, we show that low-level features are mainly captured at early scales. Therefore, using only the likelihood contribution of the final scale performs remarkably well for detecting high-level feature differences of the out-of-distribution and the in-distribution. This method is especially useful if one does not have access to a suitable general distribution. Overall, our methods achieve strong anomaly detection performance in the unsupervised setting, and only slightly underperform state-of-the-art classifier-based methods in the supervised setting. Code can be found at https://github.com/boschresearch/hierarchical_anomaly_detection.

研究动机与目标

• 解释为什么深度生成网络会因为领域先验和低层特征支配而错误识别异常。
• 提出使用分布层级和特征层级来缓解模型偏差的方法。
• 在图像数据集上展示无监督和有监督设置下的异常检测性能。
• 提供分层异常检测的实用指南和代码。
• 将分析扩展到非图像领域（医学 MRI）并讨论更广泛的影响。

提出的方法

• 在自然图像上通过最大似然训练的 Glow/可逆网络的基线使用。
• 提出分布层级：通过对数似然比将分布内模型 p_in 与通用分布模型 p_g 进行比较，作为异常分数。
• 推导使用通用分布样本对数似然比的离群损失 L_o 以改善训练。
• 利用特征层级：证明最终尺度的似然贡献 c_3(x) 主导并可作为异常分数。
• 扩展到有监督设置，采用类别条件的在分布模型和来自其他类别的负样本。
• 证明在无法获得通用分布时，使用最终尺度似然性可能有效。

实验结果

研究问题

• RQ1 为何在自然图像上训练时，使用深度生成模型的基于似然的异常检测器常常错误排序异常点？
• RQ2 分布层级与特征层级能否解释并缓解异常检测中的模型偏差？
• RQ3 在特定分布模型与通用分布模型之间的对数似然比是否能在跨数据集的无监督异常检测中提升？
• RQ4 离群损失是否通过引导模型远离高似然的通用分布样本来进一步提升异常检测性能？
• RQ5 最终尺度（高层次）似然贡献在不同模型和数据集上的表现如何，是否可以作为健壮的异常分数？

主要发现

• 在卷积式 Glow 模型中，低层次的领域先验特征支配似然，削弱了高层次异常检测。
• 来自全连接 Glow 相关性的似然性不同，表明模型偏向低层次特征。
• 分布层级使得对数似然比异常评分更有效，常常优于原始似然。
• 使用通用分布样本的离群损失在无监督异常检测中表现一致提升。
• 在无法获得通用分布数据时，使用最后尺度的似然贡献（z_3）提供强烈的异常信号。
• 在有监督设置中，类别条件模型加上离群样本取得有竞争力的结果，接近最先进的基于分类器的方法。