[论文解读] PIDForest: Anomaly Detection via Partial Identification

Parikshit Gopalan, Vatsal Sharan+1 more|arXiv (Cornell University)|Dec 8, 2019

Anomaly Detection Techniques and Applications被引用 4

一句话总结

PIDForest 是一种新颖的异常检测算法，利用一种称为 PIDScore 的几何度量来基于特征空间子立方体中的稀疏性识别异常。通过在随机森林框架中优化高方差分割并采用基于稀疏性的叶节点标签，它在12个真实世界数据集上优于六个基准方法，在对噪声和无关特征的鲁棒性方面表现优异，同时通过关键特征范围提供可解释的说明。

ABSTRACT

We consider the problem of detecting anomalies in a large dataset. We propose a framework called Partial Identification which captures the intuition that anomalies are easy to distinguish from the overwhelming majority of points by relatively few attribute values. Formalizing this intuition, we propose a geometric anomaly measure for a point that we call PIDScore, which measures the minimum density of data points over all subcubes containing the point. We present PIDForest: a random forest based algorithm that finds anomalies based on this definition. We show that it performs favorably in comparison to several popular anomaly detection methods, across a broad range of benchmarks. PIDForest also provides a succinct explanation for why a point is labelled anomalous, by providing a set of features and ranges for them which are relatively uncommon in the dataset.

研究动机与目标

• 为解决大规模系统（如数据中心）中常见的高维、异构且未标记数据集中的异常检测挑战。
• 提供一种清晰、基于几何的异常定义，与算法实现相分离，以实现可解释性和原则性检测。
• 通过基于方差的分割选择，改进 Isolation Forest，使其对无关和噪声特征具有鲁棒性。
• 开发一种可扩展、高效且可解释的异常检测方法，不依赖生成模型或距离度量。
• 在不同超参数下，于多样化的真实和合成数据集上展示优越的性能和稳定性。

提出的方法

• 提出 PIDScore 作为几何异常度量：包含某一点的所有子立方体中最大的稀疏性（体积/点数）。
• 设计 PIDForest 为一种随机森林，其中分割选择以最大化特征分布的方差，优先选择信息丰富、非均匀的特征。
• 将每个叶节点标记为所代表子立方体的稀疏性，并将异常得分计算为该点所到达的所有叶节点中最大的稀疏性。
• 采用一种贪心、随机化的树构建过程，优先选择边际方差高的特征，以增强对相关属性的检测能力。
• 采用基于子立方体的密度估计策略，避免依赖距离度量，使其对单位不敏感，适用于混合类型数据。
• 引入一种鲁棒性机制，使得超参数（如桶数、树数、深度）在超过适度阈值后对性能影响极小。

实验结果

研究问题

• RQ1 像 PIDScore 这样的几何密度基异常度量能否提供一种与算法实现无关、原则性且可解释的异常定义？
• RQ2 与 Isolation Forest 中的随机或范围分割相比，PIDForest 的基于方差的分割策略在应对无关和噪声特征时是否显著提升鲁棒性？
• RQ3 PIDForest 在多样化的真实世界和合成数据集上，相较于现有异常检测算法，其性能提升程度如何？
• RQ4 当关键超参数（如树数、深度、桶数）变化时，PIDForest 的性能稳定性如何？
• RQ5 PIDForest 是否能通过识别导致高异常得分的具体特征范围，提供有意义且人类可解释的说明？

主要发现

• PIDForest 在12个真实世界基准数据集中的6个上取得最佳性能，优于六个流行的异常检测算法，且无其他方法在超过三个数据集上排名第一。
• 该算法对噪声和无关属性表现出强韧性能，在多达50%的特征为无关特征时仍保持高性能。
• 超参数敏感性分析表明，当 k（桶数）、m（样本数）、t（树数）和 h（树深度）达到适度值后，性能即趋于稳定，超出这些阈值后变化极小。
• PIDForest 通过识别导致高异常得分的具体特征范围，提供了可解释的说明，显著增强了真实世界监控系统中的故障排查能力。
• 在具有高维、异构特征的数据集上，PIDForest 显著优于 Isolation Forest，尤其在存在无关或噪声维度时表现更优。
• 在合成时间序列实验中，PIDForest 在不同噪声水平和数据分布下均保持高精确率和高召回率，证实其鲁棒性和泛化能力。