[论文解读] Precision and Recall for Range-Based Anomaly Detection

Tae J. Lee, Justin Gottschlich+3 more|arXiv (Cornell University)|Jan 9, 2018

Anomaly Detection Techniques and Applications参考文献 7被引用 10

一句话总结

本文提出了一种针对范围异常（即跨越连续时间区间的事件）的新型数学框架，用于精确率与召回率的计算，扩展了经典指标以更好地评估时间序列异常检测系统。通过引入重叠大小、位置偏差和预测基数的可定制函数，该模型在保持经典点状指标的基础上实现了泛化，同时支持领域特定的调优，从而在流式处理和实时应用中实现更精确的评估。

ABSTRACT

Classical anomaly detection is principally concerned with point-based anomalies, anomalies that occur at a single data point. In this paper, we present a new mathematical model to express range-based anomalies, anomalies that occur over a range (or period) of time.

研究动机与目标

• 解决经典精确率与召回率在评估跨越时间区间的范围异常（而非单一点）时的不足。
• 构建一个正式的数学模型，该模型涵盖经典点状指标，同时支持可定制的领域特定行为。
• 实现实时和流式环境中异常检测系统的准确评估，其中异常以时间段形式呈现。
• 提供可调函数以处理重叠大小、位置偏差和预测基数，以反映特定应用的需求。

提出的方法

• 提出新的召回率公式 $Recall_T(R,P)$，通过所有真实异常区间 $R_i$ 的存在奖励与重叠奖励的加权和进行计算。
• 引入基数因子 $\gamma(R_i, P)$，用于惩罚多个预测区间重叠于单个真实区间的系统，且 $\gamma$ 可根据应用需求进行定制。
• 通过位置偏差函数 $\delta(i, \text{length})$ 定义重叠大小奖励 $\omega(R_i, R_i \cap P_j, \delta)$，以强调重叠区间内早期、晚期或均匀位置的优先级。
• 对精确率采用类似原则，通过 $Precision_T(R,P)$ 进行计算，评估每个预测区间 $P_i$ 与所有真实区间 $R_j$ 的匹配情况，使用基数因子与重叠奖励。
• 利用可定制函数 $\omega$、$\gamma$ 和 $\delta$，实现对重叠大小、位置和预测重复性的领域特定敏感度调优。
• 通过在所有异常为单点区间且使用平坦偏差时退化为标准精确率与召回率，确保与经典指标的向后兼容性。

实验结果

研究问题

• RQ1 如何将经典精确率与召回率指标扩展至评估跨越多个时间点的范围异常？
• RQ2 一个考虑重叠大小、异常内位置及预测基数的召回率度量，其关键组成部分是什么？
• RQ3 如何重新定义范围预测的精确率，以反映整个预测区间的质量，而非单个时间点？
• RQ4 新度量在多大程度上可自定义以反映领域特定优先事项，如早期检测或均匀覆盖？
• RQ5 所提出的框架在支持更丰富的异常评估的同时，其对经典点状指标的泛化程度如何？

主要发现

• 所提出的 $Recall_T$ 与 $Precision_T$ 度量泛化了经典精确率与召回率，在异常为单点区间且使用平坦偏差时可退化为标准形式。
• 引入基数因子 $\gamma(R_i, P)$ 使模型能够惩罚将单个真实异常拆分为多个预测区间的系统，从而提升评估的保真度。
• 位置偏差函数 $\delta$（平坦、前端优先或尾端优先）可实现对早期或晚期检测的领域特定强调，示例展示了在癌症检测与实时系统中的应用。
• 重叠大小函数 $\omega$ 支持基于正确预测的真实异常比例的细粒度奖励，其取值归一化至 [0,1] 区间。
• 由于会议篇幅限制，未包含实证验证，但该框架设计具有广泛的通用性与可定制性，适用于多样化的应用领域。
• 通过独立调优 $\alpha$、$\beta$、$\gamma$、$\omega$ 和 $\delta$，模型支持多维定制，可与特定领域的异常检测优先级对齐。