[论文解读] Navigating the Metric Maze: A Taxonomy of Evaluation Metrics for Anomaly Detection in Time Series

Sondre Sørbø, Massimiliano Ruocco|arXiv (Cornell University)|Mar 2, 2023

Time Series Analysis and Forecasting被引用 5

一句话总结

本文提出了一套全面的时间序列异常检测（TSAD）度量指标分类法与评估框架，分析了20种度量指标在10个关键属性上的表现。研究证明，度量指标的选择会显著影响方法的排名与性能评估结果，强调必须根据具体任务谨慎选择度量指标，以避免在TSAD研究与应用中得出误导性结论。

ABSTRACT

The field of time series anomaly detection is constantly advancing, with several methods available, making it a challenge to determine the most appropriate method for a specific domain. The evaluation of these methods is facilitated by the use of metrics, which vary widely in their properties. Despite the existence of new evaluation metrics, there is limited agreement on which metrics are best suited for specific scenarios and domain, and the most commonly used metrics have faced criticism in the literature. This paper provides a comprehensive overview of the metrics used for the evaluation of time series anomaly detection methods, and also defines a taxonomy of these based on how they are calculated. By defining a set of properties for evaluation metrics and a set of specific case studies and experiments, twenty metrics are analyzed and discussed in detail, highlighting the unique suitability of each for specific tasks. Through extensive experimentation and analysis, this paper argues that the choice of evaluation metric must be made with care, taking into account the specific requirements of the task at hand.

研究动机与目标

• 为解决时间序列异常检测（TSAD）评估指标选择中缺乏共识与系统性理解的问题。
• 识别并分析影响现有TSAD评估指标适用性的关键属性。
• 基于计算方法提出一种结构化的分类法，以提升指标选择的可比性与透明度。
• 通过假设性案例研究评估指标选择的影响，揭示不同指标如何对相同预测结果得出截然不同的排名。
• 通过将指标行为与实际需求（如早期检测、异常长度、接近度）关联，指导研究人员与实践者选择合适的指标。

提出的方法

• 基于计算方法提出一种新颖的20种TSAD评估指标分类法，支持系统性比较。
• 定义10项关键属性（如时间感知性、阈值需求、对不平衡的不敏感性）以表征每种指标的行为特征。
• 设计10个假设性案例研究，测试每种指标对特定预测模式（如长异常与短异常、部分检测）的响应。
• 使用合成与真实世界标注模式对指标进行分析，包括随机噪声预测等边界情况。
• 通过案例研究中的定量评分对指标进行分类，明确其偏好与局限性。
• 将广泛使用的指标（如P W f β、AUCROC、P Af β）与较新或不常见的指标（如NAB、biasRfαβ、Tafδβ）进行比较，揭示其中的不一致与缺陷。

实验结果

研究问题

• RQ1 在时间序列中检测长或短异常事件时，哪些评估指标最为合适？
• RQ2 不同指标如何响应时间上部分正确或错位的预测？
• RQ3 指标选择在基准测试中对TSAD算法排名的影响程度有多大？
• RQ4 哪些指标对时间上的接近度或检测的早期性敏感，哪些则不敏感？
• RQ5 为何某些指标会对无信息量的预测（如随机噪声）产生误导性高分，以及如何避免此类问题？

主要发现

• 评估指标的选择对TSAD方法的排名具有显著影响，部分指标可能偏好虚假的预测模式。
• 如P Af β与P W f β等指标可能对时间或持续时间错误的预测仍给出高分，例如仅检测到长异常的短片段。
• 部分指标（如biasRfαβ与Tafδβ）对参数设置敏感，其结果可能因配置不同而出现不一致。
• 如AUCROC与AUCPR等指标对不平衡不敏感且无需设定阈值，但可能忽略时间对齐问题。
• P@K指标对预测顺序极为敏感，可能惩罚具有价值的早期检测。
• 不存在一种通用适用的指标；最合适的指标取决于具体任务需求，如早期检测或与真实异常的接近度。