[论文解读] Sparse Representation of Multivariate Extremes with Applications to Anomaly Ranking

Nicolas Goix, Anne Sabourin+1 more|arXiv (Cornell University)|Mar 31, 2016

Anomaly Detection Techniques and Applications被引用 14

一句话总结

本文提出DAMEX，一种新颖的无监督异常排序方法，利用多元极值理论（EVT）通过识别极端观测值聚集的子空间，学习多变量极值的稀疏、低维表示。通过利用角度测度并结合极端方向的非参数聚类方法，DAMEX在不假设参数化尾部分布模型的前提下，显著提升了异常检测的精确度——尤其在低误报率下表现更优，并能有效集成至现有异常检测算法（如iForest）中。

ABSTRACT

Extremes play a special role in Anomaly Detection. Beyond inference and simulation purposes, probabilistic tools borrowed from Extreme Value Theory (EVT), such as the angular measure, can also be used to design novel statistical learning methods for Anomaly Detection/ranking. This paper proposes a new algorithm based on multivariate EVT to learn how to rank observations in a high dimensional space with respect to their degree of 'abnormality'. The procedure relies on an original dimension-reduction technique in the extreme domain that possibly produces a sparse representation of multivariate extremes and allows to gain insight into the dependence structure thereof, escaping the curse of dimensionality. The representation output by the unsupervised methodology we propose here can be combined with any Anomaly Detection technique tailored to non-extreme data. As it performs linearly with the dimension and almost linearly in the data (in O(dn log n)), it fits to large scale problems. The approach in this paper is novel in that EVT has never been used in its multivariate version in the field of Anomaly Detection. Illustrative experimental results provide strong empirical evidence of the relevance of our approach.

研究动机与目标

• 解决多变量极值理论（EVT）在异常检测（AD）中应用不足的问题，特别是针对高维数据。
• 通过识别支持极端观测值的低维子空间，克服建模多变量极值时的维度灾难问题。
• 开发一种稳健的非参数方法，可处理异常比例较小的数据集，且不易因异常值而过拟合。
• 通过基于其依赖结构学习极端数据的稀疏“正常轮廓”，提升现有AD算法的精确度。
• 通过结合EVT与降维及稀疏表示技术，实现在大规模、高维数据集中的有效异常排序。

提出的方法

• 采用多变量阈值以上（POT）建模方法，利用L-infinity范数阈值化识别极端观测值：$\|\mathbf{X}\|_\infty \geq \mathbf{u}$。
• 通过非参数聚类方法对极端区域内的单位向量进行聚类，估计极端方向的角度测度，以识别主导子空间。
• 采用粗粒度、鲁棒的估计方案，避免在无监督设置下因训练数据中可能存在异常值而过拟合。
• 通过识别能捕获大部分极端数据质量的低维子锥（子空间），学习多变量极值的稀疏表示。
• 将所得稀疏表示作为评分函数，根据观测值的极端程度对新样本进行排序，该方法可与任意基础AD算法结合使用。
• 通过在$[n^{1/4}, n^{2/3}]$和$[0.0001, 0.1]$范围内对参数$k$和$\epsilon$进行稳定性分析进行优化，其中$\mu_{\min}$设为非空子锥的平均质量。

实验结果

研究问题

• RQ1 多变量极值理论能否被有效用于在高维数据中学习多变量极值的稀疏、低维表示？
• RQ2 在高维场景下，如何在不假设参数形式的前提下恢复极端观测值的依赖结构？
• RQ3 学习极端数据的稀疏“正常轮廓”在监督与无监督设置下，能在多大程度上提升异常检测算法的精确度？
• RQ4 当异常率较低且高维噪声较强时（尤其在误报代价高昂的情况下），该方法表现如何？
• RQ5 该方法能否在训练集中包含少量异常比例的情况下，仍保持性能不退化？

主要发现

• DAMEX在异常排序中显著提升了精确度，尤其在高召回率（低误报率）下表现突出，多个数据集的ROC曲线在原点附近更陡峭。
• 在shuttle数据集上，DAMEX将AUC-ROC从0.996提升至0.997，AUC-PR从0.974提升至0.987，表现出一致的性能改进。
• 在forestcover数据集上，DAMEX将AUC-PR从0.193提升至0.363，表明在0.9%的低异常率下仍实现显著的精确度提升。
• 在SF数据集上，DAMEX将AUC-PR从0.041提升至0.694，显示出在高维、真实世界入侵检测场景中的强大性能。
• 在SA数据集上，DAMEX将AUC-PR从0.387提升至0.892，凸显其在1%异常率且存在复杂依赖关系场景下的有效性。
• 在smtp数据集上，该方法未能提升性能，可能由于重尾分布不存在或收敛缓慢，表明当极端依赖关系缺失或微弱时存在局限性。