[论文解读] Statistical Analysis of Nearest Neighbor Methods for Anomaly Detection

Xiaoyi Gu, Leman Akoglu+1 more|arXiv (Cornell University)|Jul 8, 2019

Anomaly Detection Techniques and Applications参考文献 26被引用 50

一句话总结

本文通过实证比较基于神经网络的异常检测器，并使用距离到量测（DTM）提出一个理论框架，在Huber污染模型下给出有限样本保证。

ABSTRACT

Nearest-neighbor (NN) procedures are well studied and widely used in both supervised and unsupervised learning problems. In this paper we are concerned with investigating the performance of NN-based methods for anomaly detection. We first show through extensive simulations that NN methods compare favorably to some of the other state-of-the-art algorithms for anomaly detection based on a set of benchmark synthetic datasets. We further consider the performance of NN methods on real datasets, and relate it to the dimensionality of the problem. Next, we analyze the theoretical properties of NN-methods for anomaly detection by studying a more general quantity called distance-to-measure (DTM), originally developed in the literature on robust geometric and topological inference. We provide finite-sample uniform guarantees for the empirical DTM and use them to derive misclassification rates for anomalous observations under various settings. In our analysis we rely on Huber's contamination model and formulate mild geometric regularity assumptions on the underlying distribution of the data.

研究动机与目标

• 在合成数据集和真实数据集的无监督环境中评估基于NN的异常检测方法。
• 将NN方法与Isolation Forest、LOF、LODA等最先进检测器进行比较。
• 基于距离到量测（DTM）建立统计框架，以理论理解NN方法。
• 提供经验NN半径和DTM收敛的有限样本界。
• 描述在何种条件下DTM基方法能够可靠地区分正常点和异常点。

提出的方法

• 分析两种NN异常检测器：k-NN（到k个邻居的平均距离）和k-th NN（到第k个邻居的距离）。
• 引入并利用距离到量测（DTM）泛函作为NN方法的推广（DTM_q，q≥1；DTM_2对应标准DTM，q=2）。
• 基于P和P_n建立p-NN半径 r_p(x) 和经验半径 ˆ{r}_p(x) 的总体定义和经验定义。
• 在假设A0-A2和A1下，证明 ˆ{r}_p(x) 和 ˆ{d}(x)（经验DTM）的有限样本一致性界。
• 推导在Huber污染模型下DTM基异常检测的误分类/分离保证。
• 提供补充证明并讨论高维行为以及正常点在安全区内的正确分类。

实验结果

研究问题

• RQ1 基于NN的异常检测器（k-NN、k-th NN和DTM_2）在合成数据和真实数据集上相对于成熟方法（Isolation Forest、LOF、LODA等）的表现如何？
• RQ2 在Huber污染下，经验DTM能够为将正常观测与异常观测分离提供哪些理论保证？
• RQ3 在温和的正则性条件下，随着样本量增加，经验NN半径和经验DTM如何收敛到其总体对应物？
• RQ4 数据维度如何影响基于NN的异常检测方法的性能和可靠性？
• RQ5 在哪些具体的有限样本边界条件下，能够确保在正常支持的深区（安全区）内的正确分类？

主要发现

• 基于NN的检测器（k-NN、k-th NN和DTM_2）在基准合成数据集和真实的ODDS/UCI数据集上表现出与最先进方法的竞争力。
• Isolation Forest在基准指标（AUC、AP）上通常实现最低的失败率，NN方法紧随其后；在高维数据上，NN方法与LOF/DTM变体在某些情况下表现更强。
• 高维实验表明在某些设置下NN方法可能优于Isolation Forest，而LOF和基于DTM的变体在其他情况下可能更有利。
• 论文引入对经验NN半径和DTM的统一有限样本界，保证在适当条件（A1，且与维度d相关）下收敛。
• 存在一个确定性的分离结论，表明在正常支撑深处存在一个安全区A_eta，使得总体DTM从异常支撑分离，在m>epsilon且分离eta足够时，A_eta内的点以高概率被正确分类。
• 推论将经验DTM界与实际分类保证联系起来，包括在足够样本量和正则性条件下，对A_eta内所有点的高概率正确性。