[论文解读] On Diffusion Modeling for Anomaly Detection

Victor Livernoche, Vineet Jain+2 more|arXiv (Cornell University)|May 29, 2023

Complex Network Analysis Techniques被引用 4

一句话总结

本文提出扩散时间估计（DTE），作为去噪扩散概率模型（DDPM）在异常检测中的计算效率更高的替代方案。通过估计扩散时间的后验分布，并将其众数或均值作为异常分数，DTE在ADBench基准上实现了与DDPM相当的性能，同时推理速度提升了数个数量级，显著优于DDPM在速度与准确率方面的表现。

ABSTRACT

Known for their impressive performance in generative modeling, diffusion models are attractive candidates for density-based anomaly detection. This paper investigates different variations of diffusion modeling for unsupervised and semi-supervised anomaly detection. In particular, we find that Denoising Diffusion Probability Models (DDPM) are performant on anomaly detection benchmarks yet computationally expensive. By simplifying DDPM in application to anomaly detection, we are naturally led to an alternative approach called Diffusion Time Estimation (DTE). DTE estimates the distribution over diffusion time for a given input and uses the mode or mean of this distribution as the anomaly score. We derive an analytical form for this density and leverage a deep neural network to improve inference efficiency. Through empirical evaluations on the ADBench benchmark, we demonstrate that all diffusion-based anomaly detection methods perform competitively for both semi-supervised and unsupervised settings. Notably, DTE achieves orders of magnitude faster inference time than DDPM, while outperforming it on this benchmark. These results establish diffusion-based anomaly detection as a scalable alternative to traditional methods and recent deep-learning techniques for standard unsupervised and semi-supervised anomaly detection settings.

研究动机与目标

• 评估扩散模型，特别是DDPM，在表格数据、图像和自然语言数据等通用异常检测基准上的表现。
• 通过简化推理过程，解决DDPM在异常检测中计算成本过高的问题。
• 开发一种比DDPM更高效、更具可扩展性的替代方法，在无监督和半监督设置下保持高性能。
• 探究基于扩散的异常检测方法的可解释性与泛化能力。
• 在来自ADBench的57个多样化数据集上，将所提方法与经典方法和深度学习基线进行基准测试。

提出的方法

• 提出扩散时间估计（DTE），通过估计给定输入在扩散时间上的后验分布，作为异常检测的代理指标。
• 推导出扩散时间后验分布的解析形式，实现非参数化估计，其效果等价于用于异常检测的k-最近邻（kNN）方法。
• 引入一个参数化的深度神经网络以建模后验分布，实现高效推理，并在多种数据集上提升泛化能力。
• 使用估计的扩散时间分布的众数或均值作为异常分数，数值越高表示异常可能性越大。
• 在所有数据集和设置中采用单一深度神经网络架构，以确保可扩展性与泛化能力。
• 在ADBench基准上验证该方法，在无监督和半监督设置下，对57个数据集的性能与推理时间进行比较。

实验结果

研究问题

• RQ1 扩散模型（如DDPM）是否能在超越图像特定任务的多样化异常检测基准上实现具有竞争力的性能？
• RQ2 如何在不牺牲异常检测性能的前提下，降低DDPM的计算成本？
• RQ3 是否存在一种简化的DDPM推理代理方法，能在保持性能的同时实现更快的推理速度？
• RQ4 单一深度神经网络架构是否能在基于扩散原理的异常检测中，有效泛化于多样化数据类型（表格、图像、文本）？
• RQ5 所提出的DTE方法在多个数据集和设置下，与经典方法和深度学习基线相比，在性能与效率方面表现如何？

主要发现

• DTE在ADBench基准上实现了显著更快的推理速度——快数个数量级——同时保持或提升了与原始DDPM相当的性能。
• 在ADBench的半监督设置下，DTE在平均AUC ROC和推理速度方面均优于DDPM，在效率-准确率权衡图中位于更优位置。
• DTE的非参数版本产生的异常排序与k-最近邻（kNN）完全一致，建立了扩散建模与经典方法之间的理论联系。
• 采用单一深度神经网络的参数化DTE模型在57个多样化数据集上均表现出良好泛化能力，展示了在表格、图像和自然语言数据上的强大性能。
• 所有基于扩散的方法（包括DDPM和DTE）在无监督和半监督异常检测中均表现具有竞争力，挑战了经典方法的主导地位。
• 本研究证实，基于扩散的异常检测是传统方法和近期深度学习技术在标准异常检测设置下的可扩展且有效的替代方案。