[论文解读] Unsupervised Model Selection for Time-series Anomaly Detection

Mononito Goswami, Cristian Challú+3 more|arXiv (Cornell University)|Oct 3, 2022

Anomaly Detection Techniques and Applications被引用 8

一句话总结

该论文提出了一种用于时间序列异常检测的无监督模型选择框架，利用三类代理度量——预测误差、模型中心性以及在注入的合成异常上的表现——在无需标注异常的情况下对候选模型进行排序。该方法通过经验影响（Empirical Influence）实现鲁棒的排名聚合，将这些不完善的度量结合，其性能在275个多样化的时间序列数据集上与使用部分标注数据进行模型选择的性能相当。

ABSTRACT

Anomaly detection in time-series has a wide range of practical applications. While numerous anomaly detection methods have been proposed in the literature, a recent survey concluded that no single method is the most accurate across various datasets. To make matters worse, anomaly labels are scarce and rarely available in practice. The practical problem of selecting the most accurate model for a given dataset without labels has received little attention in the literature. This paper answers this question i.e. Given an unlabeled dataset and a set of candidate anomaly detectors, how can we select the most accurate model? To this end, we identify three classes of surrogate (unsupervised) metrics, namely, prediction error, model centrality, and performance on injected synthetic anomalies, and show that some metrics are highly correlated with standard supervised anomaly detection performance metrics such as the $F_1$ score, but to varying degrees. We formulate metric combination with multiple imperfect surrogate metrics as a robust rank aggregation problem. We then provide theoretical justification behind the proposed approach. Large-scale experiments on multiple real-world datasets demonstrate that our proposed unsupervised approach is as effective as selecting the most accurate model based on partially labeled data.

研究动机与目标

• 解决在给定未标注时间序列数据集时选择最准确异常检测模型的实际挑战。
• 克服现实应用中异常标签稀缺且成本高昂的问题。
• 开发一种可靠、无监督的方法，仅使用未标注数据对候选模型进行排序。
• 证明代理度量可以有效近似监督性能度量（如F1分数）。
• 提供理论基础扎实、鲁棒的聚合方法，以结合多个不完善的代理排名。

提出的方法

• 识别三类无监督代理度量：预测误差（重构损失）、模型中心性（基于Borda计数）以及在合成异常上的表现。
• 基于每种代理度量计算模型排名，将每种度量视为模型性能的排列。
• 应用基于经验影响（EI）的鲁棒排名聚合技术，将多个排名合并为单一、稳定的模型选择顺序。
• 将Borda计数用作Kemeny-Young问题中中心排列的代理，以提升聚合的稳定性。
• 将聚合形式化为最小化与输入排名的平均Kendall tau距离，其中EI用于度量每个排名的影响。
• 理论证明表明，EI有助于识别并降低不可靠度量的影响，尤其是在存在一个或多个不完美排名时。

实验结果

研究问题

• RQ1 在无标签的情况下，无监督代理度量是否能与标准监督异常检测性能（如F1分数）表现出强相关性？
• RQ2 如何将多个不完善的代理度量结合，以生成可靠的模型选择排名？
• RQ3 所提出的鲁棒排名聚合方法在实践中是否优于或至少匹配基于部分标注的模型选择？
• RQ4 不同代理度量类别（预测误差、中心性、合成异常）对模型选择准确性的贡献如何？
• RQ5 该方法能否在来自不同领域的多样化真实世界时间序列数据集中泛化？

主要发现

• 所提出的无监督模型选择方法在性能上可与使用部分标注数据子集选择最佳模型的性能相媲美。
• 如预测误差和在注入合成异常上的表现等代理度量与F1分数表现出强相关性，而模型中心性则提供了稳定的聚合。
• 经验影响（EI）能有效识别并降低不可靠排名的影响，尤其在某一度量显著失真时效果显著。
• 该方法在涵盖医学、体育和昆虫学等10个不同领域的多样化真实世界数据集上具有泛化能力，共评估了超过5,000个训练模型。
• 理论分析证实，EI对不完美度量具有鲁棒性，并倾向于选择接近中心排列的排名。
• 由于聚合机制具有抗噪和抗部分相关性的能力，即使单个度量存在噪声或部分相关，该方法依然有效。