[论文解读] On the Nature and Types of Anomalies: A Review.

Ralph Foorthuis|arXiv (Cornell University)|Jul 30, 2020

Anomaly Detection Techniques and Applications参考文献 245被引用 8

一句话总结

本文提出了一种理论上有依据的、与领域无关的数据异常分类体系，基于四种以数据为中心的维度——数据类型、关系基数、数据结构和数据分布——得出3大类、9种基本类型和61种子类型。该框架可实现对异常检测算法的系统性评估，并通过阐明局部异常与全局异常的本质，推动可解释性数据科学的发展。

ABSTRACT

Anomalies are occurrences in a dataset that are in some way unusual and do not fit the general patterns. The concept of the anomaly is generally ill-defined and perceived as vague and domain-dependent. Moreover, no comprehensive and concrete overviews of the different types of anomalies have hitherto been published. By means of an extensive literature review this study therefore offers the first theoretically principled and domain-independent typology of data anomalies, and presents a full overview of anomaly types and subtypes. To concretely define the concept of the anomaly and its different manifestations the typology employs four dimensions: data type, cardinality of relationship, data structure and data distribution. These fundamental and data-centric dimensions naturally yield 3 broad groups, 9 basic types and 61 subtypes of anomalies. The typology facilitates the evaluation of the functional capabilities of anomaly detection algorithms, contributes to explainable data science, and provides insights into relevant topics such as local versus global anomalies.

研究动机与目标

• 为长期存在的缺乏全面、理论基础的数据异常分类体系提供解决方案。
• 解决当前对异常理解中固有的模糊性与领域依赖性问题。
• 建立一个基于基本数据属性的、有原则的、以数据为中心的异常分类框架。
• 通过提供结构化的分类体系，支持异常检测算法的评估。
• 通过阐明局部异常与全局异常等区分，提升可解释性数据科学。

提出的方法

• 本研究开展广泛的文献综述，以识别并分类跨多个领域的异常类型。
• 定义了一个四维框架：数据类型、关系基数、数据结构和数据分布。
• 利用这些维度系统推导出3大类异常、9种基本类型和61种子类型。
• 该分类体系设计为与应用领域无关，并建立在以数据为中心的属性之上。
• 该框架支持基于异常的结构特征和统计特性的分类。
• 该方法通过将异常检测算法的功能能力映射到特定异常子类型，支持对算法的分析。

实验结果

研究问题

• RQ1 哪些基本维度能够以系统化、有原则且与领域无关的方式对数据异常进行分类？
• RQ2 如何基于以数据为中心的属性，将异常划分为不同的类型和子类型？
• RQ3 在所提出的分类体系中，局部异常与全局异常之间的关系是什么？
• RQ4 所提出的框架如何提升异常检测算法的评估与可解释性？
• RQ5 该分类体系对理解复杂数据结构和分布中的异常有何启示？

主要发现

• 本研究基于四个核心数据维度，建立了一个涵盖3大类、9种基本类型和61种子类型的全面异常分类体系。
• 该框架能够清晰区分基于数据类型、结构关系和分布模式的异常。
• 该分类体系支持识别和分类局部异常（在特定上下文中偏离）与全局异常（在整个数据集中罕见）。
• 该方法为在不同异常子类型上评估异常检测算法的功能范围提供了标准化基础。
• 该框架通过提供一个有原则的分类体系，澄清了模糊或含糊的异常定义，从而增强可解释性数据科学。
• 本研究表明，异常并非单一整体，而是表现出多样的结构和统计特征，且可被系统性地分类。