[论文解读] Outlier Detection by Consistent Data Selection Method

Utkarsh Porwal, Smruthi Mukund|arXiv (Cornell University)|Dec 12, 2017

Anomaly Detection Techniques and Applications参考文献 24被引用 3

一句话总结

本文提出一种两阶段异常检测方法：首先通过使用多个k值的k均值聚类集成，识别出一致（非异常）数据点；然后在剩余数据上应用单类分类器以检测异常。该方法在UCI数据集上表现出色，无需事先了解异常或正常模式，可快速构建高质量的正负样本用于后续训练。

ABSTRACT

Often the challenge associated with tasks like fraud and spam detection[1] is the lack of all likely patterns needed to train suitable supervised learning models. In order to overcome this limitation, such tasks are attempted as outlier or anomaly detection tasks. We also hypothesize that out- liers have behavioral patterns that change over time. Limited data and continuously changing patterns makes learning significantly difficult. In this work we are proposing an approach that detects outliers in large data sets by relying on data points that are consistent. The primary contribution of this work is that it will quickly help retrieve samples for both consistent and non-outlier data sets and is also mindful of new outlier patterns. No prior knowledge of each set is required to extract the samples. The method consists of two phases, in the first phase, consistent data points (non- outliers) are retrieved by an ensemble method of unsupervised clustering techniques and in the second phase a one class classifier trained on the consistent data point set is ap- plied on the remaining sample set to identify the outliers. The approach is tested on three publicly available data sets and the performance scores are competitive.

研究动机与目标

• 解决在缺乏正常或异常模式标注训练数据的情况下进行异常检测的挑战。
• 开发一种可扩展的方法，能够从大规模、高维数据集中高效提取一致（正常）行为的代表性样本。
• 实现对一致与异常样本的快速自举（bootstrapping），尤其适用于检测新兴欺诈模式。
• 通过聚焦于识别稳定、低方差的数据点，而非直接建模异常，降低对真实标签数据的依赖。
• 设计一种易于在分布式系统中实现的方法，以处理大规模数据。

提出的方法

• 该方法首先在数据集上对一系列k值（例如10至1500）应用k均值聚类，生成多个聚类结果。
• 对每个数据点，基于其在各聚类中到质心的距离，计算平均相似度得分，作为其在子空间中一致性的度量。
• 将平均相似度得分较高（超过阈值）的数据点选为一致数据池，代表稳定、正常的行为。
• 仅使用一致数据点训练单类分类器（例如使用多项式核的单类SVM），以学习正常行为的边界。
• 将训练好的单类分类器应用于剩余数据（不一致池）以识别异常。
• 该方法设计为可扩展且可分布处理，利用集成聚类与相似度评分，提升在高维、相关数据中的鲁棒性。

实验结果

研究问题

• RQ1 在缺乏正常或异常模式先验知识的高维、大规模数据集中，能否可靠识别一致数据点？
• RQ2 使用不同k值的k均值聚类集成，在检测代表正常行为的稳定、低方差数据点方面效果如何？
• RQ3 基于提取的一致数据集训练的单类分类器，在检测异常时能否实现高精度与高召回率？
• RQ4 该方法在具有不同异常比例与数据结构的多样化真实世界数据集上的表现如何？
• RQ5 一致数据选择过程能否用于无监督方式自举高质量的正常与异常类别训练样本？

主要发现

• 在ionosphere数据集中，一致数据池包含275个正例和仅20个负例，表明正常与异常行为具有明显分离。
• 在arrhythmia数据集中，一致池包含275个正例和20个负例，而剩余111个正例与45个负例位于不一致池中，表明该方法能有效隔离大多数异常。
• 在musk数据集中，一致池包含5,538个正例且无负例，而不一致池包含42个正例与1,017个负例，显示出一致集合的极高纯度。
• 在musk数据集中，基于一致数据训练的单类分类器正确检测出全部1,017个负例样本，正例中仅有15个误报。
• 该方法对聚类中k值的选择较为敏感，当k值过低时，由于异常被错误聚类，性能显著下降。
• 平均相似度得分作为有效的排序指标，可用于优先筛选不一致样本以供进一步人工或自动审查，从而实现高效的异常发现。