[论文解读] Systematic Construction of Anomaly Detection Benchmarks from Real Data

Andrew Emmott, Shubhomoy Das+3 more|arXiv (Cornell University)|Mar 3, 2015

Anomaly Detection Techniques and Applications参考文献 34被引用 14

一句话总结

本文提出了一套系统化的方法，通过调整点的难度、异常频率和聚类程度，将现有的分类数据集转化为真实、具备真实标签的异常检测基准。该方法可在多样化、受控的条件下对异常检测算法进行严格评估，提供可复现的基准测试框架。

ABSTRACT

Research in anomaly detection suffers from a lack of realis-tic and publicly-available problem sets. This paper discusses what properties such problem sets should possess. It then introduces a methodology for transforming existing classi-fication data sets into ground-truthed benchmark data sets for anomaly detection. The methodology produces data sets that vary along three important dimensions: (a) point diffi-culty, (b) relative frequency of anomalies, and (c) clustered-ness. We apply our generated datasets to benchmark several popular anomaly detection algorithms under a range of dif-ferent conditions. 1.

研究动机与目标

• 为解决研究中缺乏真实、公开的异常检测数据集的问题。
• 定义基准数据集应具备的关键属性，以实现有意义的评估。
• 开发一种可复现的方法，从现有分类数据中生成多样化的异常检测基准。
• 实现对异常检测算法在不同异常特征下的系统性评估。
• 提供一种标准化、可扩展的框架，用于在受控条件下比较算法性能。

提出的方法

• 通过注入具有受控属性的合成异常，对现有分类数据集进行改造。
• 通过调整异常点与正常样本在特征空间中的距离，控制异常点的难度。
• 通过调节数据集中注入异常的比例，控制异常的相对频率。
• 通过在特征空间的密集区域或孤立聚类中放置异常点，引入聚类程度。
• 保留原始数据分布和类别结构，以维持真实性和相关性。
• 生成多种基准变体，以支持在多样化异常场景下的评估。

实验结果

研究问题

• RQ1 不同异常检测算法在不同异常难度水平下的表现如何？
• RQ2 异常的相对频率如何影响算法的检测准确率和鲁棒性？
• RQ3 异常的空间聚类程度在多大程度上影响检测性能？
• RQ4 当异常分布在密集区域或孤立聚类中时，算法的行为如何变化？
• RQ5 系统化的基准测试框架在多大程度上能提升异常检测研究的可复现性和可比性？

主要发现

• 所提出的方法能成功从现有分类数据集中生成真实、具备真实标签的异常检测基准。
• 异常检测性能在点的难度、频率和聚类程度变化时表现出显著差异。
• 算法在难以检测的异常点上表现下降，尤其是在异常稀少或高度聚类的情况下。
• 该基准框架可在多样化实验条件下实现一致且可复现的评估。
• 生成的数据集揭示了在标准基准中不可见的性能权衡，凸显了多样化评估设置的必要性。
• 该方法提供了一种可扩展且系统化的方式，用于评估算法在真实异常分布下的鲁棒性。