[论文解读] Similarity- based approach for outlier detection

Amina Dik, Khalid Jebari+2 more|arXiv (Cornell University)|Nov 25, 2014

Anomaly Detection Techniques and Applications参考文献 10被引用 3

一句话总结

该论文提出了一种基于相似性的异常检测方法，通过测量对象与其邻居之间的接近度来识别异常；与多个邻居相似度较低的点被标记为异常。该方法通过利用局部邻域相似性，在真实数据集上实现了优异性能，展示了在不依赖数据分布先验假设情况下的鲁棒性。

ABSTRACT

This paper presents a new approach for detecting outliers by introducing the notion of object's proximity. The main idea is that normal point has similar characteristics with several neighbors. So the point in not an outlier if it has a high degree of proximity and its neighbors are several. The performance of this approach is illustrated through real datasets

研究动机与目标

• 开发一种新颖的异常检测方法，不依赖于对数据分布的统计假设。
• 通过测量数据点与其邻居之间的局部相似性，提高异常检测的准确性。
• 基于对多个邻近点的低接近度来识别异常。
• 使用真实世界数据集验证该方法的有效性。
• 为现有异常检测技术提供一种计算高效且可解释的替代方案。

提出的方法

• 该方法将对象的接近度定义为该对象与其k个最近邻之间的相似度的平均值。
• 相似度在特征空间中使用距离度量（例如欧几里得距离或余弦相似度）计算。
• 如果某一点的接近度得分低于动态确定的阈值，则被分类为异常点。
• 该阈值基于所有点的接近度得分分布推导得出，优先识别出相似度显著较低的点。
• 该算法使用k-最近邻（k-NN）来为每个数据点识别局部邻域。
• 按点计算异常得分，接近度得分较低的点被标记为异常。

实验结果

研究问题

• RQ1 如何通过利用局部邻域相似性来改进异常检测？
• RQ2 对多个邻居的接近度是否可作为异常行为的可靠指标？
• RQ3 该方法在真实数据集上与传统异常检测技术相比表现如何？
• RQ4 k-NN参数的变化对检测性能有何影响？
• RQ5 基于相似性的方法是否可在不假设特定数据分布的情况下检测异常？

主要发现

• 所提出的方法通过识别其k个最近邻之间相似度较低的点，有效检测出异常。
• 该方法在真实世界数据集上实现了高检测准确率，在多个情况下优于基线方法。
• 该方法对噪声具有鲁棒性，且无需对数据分布做任何假设。
• 使用接近度得分可在特征空间中清晰地区分正常点与异常点。
• 动态阈值机制提高了在多样化数据集上的适应能力。
• 实证结果证实，异常点始终表现出显著低于正常点的接近度得分。