[论文解读] Precision and Recall for Time Series

Nesime Tatbul, Tae Jun Lee+3 more|arXiv (Cornell University)|Mar 8, 2018

Time Series Analysis and Forecasting被引用 38

一句话总结

本文提出了一种新颖且可定制的数学模型，将经典精确率与召回率扩展至评估基于时间区间的异常检测算法——即发生在连续时间区间的异常。通过引入部分重叠、位置偏差和基数性，该模型利用专用函数实现领域特定的评估，相较于经典指标在实时应用中显著提升了准确性，尤其在早期检测至关重要的场景下表现更优。

ABSTRACT

Classical anomaly detection is principally concerned with point-based anomalies, those anomalies that occur at a single point in time. Yet, many real-world anomalies are range-based, meaning they occur over a period of time. Motivated by this observation, we present a new mathematical model to evaluate the accuracy of time series classification algorithms. Our model expands the well-known Precision and Recall metrics to measure ranges, while simultaneously enabling customization support for domain-specific preferences.

研究动机与目标

• 解决经典精确率与召回率在评估时间序列异常检测系统时的局限性，这些指标专为点状异常设计，却不适用于区间异常。
• 开发一个正式模型，以捕捉时间序列特有的特性，如部分重叠、异常区间的相对位置关系，以及检测到的区间基数。
• 通过反映应用优先级（如早期检测或完整区间覆盖）的领域特定偏差函数，实现评估指标的可定制化。
• 提供一个灵活且可扩展的框架，不仅可用于评估，还可潜在地作为机器学习训练中异常检测的损失函数。

提出的方法

• 该模型通过定义新的度量 $\mathit{Precision_{T}}$ 和 $\mathit{Recall_{T}}$ 扩展经典精确率与召回率，以考虑真实异常区间与预测区间之间的部分重叠。
• 引入位置偏差函数（例如：前端、中段、后端），根据重叠在异常区间内的相对位置对重叠贡献进行加权。
• 该模型支持基数感知评估，即单个预测区间可部分匹配多个真实区间，反之亦然，且重叠大小会相应量化。
• 采用真实区间 $R$ 与预测区间 $P$ 之间的两集合比较方法，通过顺序排序优化算法，将计算复杂度从 $O(N_r \times N_p)$ 降低至 $O(\max\{N_r, N_p\})$。
• 用户可自定义偏差函数及多准则下的加权方式，实现对评估优先级的领域特定调优。
• 支持偏差函数的闭式计算，以减少逐点计算开销，提升效率。

实验结果

研究问题

• RQ1 如何有意义地将经典精确率与召回率扩展至评估时间序列数据中的基于区间的异常？
• RQ2 真实异常区间与预测区间之间的部分重叠在多大程度上影响标准评估指标的准确性？
• RQ3 能否设计一种可定制的评估模型，以支持前端检测优先或完整区间覆盖等特定领域的偏好？
• RQ4 与经典指标及现有评分模型（如 Numenta 的模型）相比，所提出的模型在性能和表达能力上表现如何？
• RQ5 计算新度量的计算成本是多少？是否可优化至适用于实际部署？

主要发现

• 所提出的模型在捕捉应用特定需求方面显著优于经典精确率与召回率，尤其在异常起始阶段需早期检测的关键场景中表现突出。
• 在新模型下，Greenhouse 被评为最佳检测器，主要因其具有较高的前向偏差 $\mathit{Recall_{T}}$，反映出其强大的早期检测能力。
• 与经典指标不同，新模型正确识别出 Luminol 尽管精确率高，却未能检测到三个真实异常区间中的一个，因此整体得分较低。
• 该模型的优化版本相较原始基线将计算成本降低了近三个数量级，使其在实时系统中具备可行性。
• 该模型在多种数据集和检测器上表现稳健，与领域特定期望（如优先检测前端）保持一致。
• 该模型的可扩展性使其能够集成新准则与偏差函数，展现出对不断演变的应用需求的适应能力。