[论文解读] TODS: An Automated Time Series Outlier Detection System

Kwei-Herng Lai, Daochen Zha+9 more|arXiv (Cornell University)|Sep 18, 2020

Anomaly Detection Techniques and Applications参考文献 7被引用 14

一句话总结

TODS 是一个开源的、模块化的自动化时间序列异常检测系统，通过拖放式图形界面和数据驱动的管道搜索器，支持端到端的管道构建。它支持 70 种原子组件，涵盖数据处理、时间序列分析、特征工程、检测算法和基于规则的强化模块，显著减少了在真实应用场景中构建高效异常检测管道的手动工作量。

ABSTRACT

We present TODS, an automated Time Series Outlier Detection System for research and industrial applications. TODS is a highly modular system that supports easy pipeline construction. The basic building block of TODS is primitive, which is an implementation of a function with hyperparameters. TODS currently supports 70 primitives, including data processing, time series processing, feature analysis, detection algorithms, and a reinforcement module. Users can freely construct a pipeline using these primitives and perform end- to-end outlier detection with the constructed pipeline. TODS provides a Graphical User Interface (GUI), where users can flexibly design a pipeline with drag-and-drop. Moreover, a data-driven searcher is provided to automatically discover the most suitable pipelines given a dataset. TODS is released under Apache 2.0 license at https://github.com/datamllab/tods.

研究动机与目标

• 解决手动构建高效时间序列异常检测管道所需的高人力成本问题。
• 通过自动化管道组合和超参数选择，减少对专家知识的依赖。
• 为多样化的时序异常检测场景提供灵活、模块化且可扩展的管道设计。
• 同时支持基于图形界面的交互式管道构建和基于数据驱动搜索器的自动化最优管道发现。
• 通过强化模块集成人机协同反馈，提升检测准确性。

提出的方法

• 将 TODS 设计为基于组件的模块化系统——即具有可配置超参数的原子函数，组织为五个模块：数据处理、时间序列处理、特征分析、检测算法和强化模块。
• 使用 Orange 和 Axolotl 实现图形界面，支持拖放式管道构建，并实现实时超参数配置。
• 开发一种数据驱动的搜索器，利用 F1 分数等性能指标，自动发现针对给定数据集的高性能检测管道。
• 将管道结构化为有向无环图（DAG），并采用标准化接口，实现对多样化算法的无缝集成。
• 支持从原始数据输入（含时间戳和特征的 CSV 文件）到异常检测与评估的端到端管道执行。
• 引入 RuleBasedFilter 组件作为强化模块，在检测后应用领域特定规则，提升可解释性和准确性。

实验结果

研究问题

• RQ1 自动化管道构建在多大程度上可以减少构建高效时间序列异常检测系统所需的手动工作量？
• RQ2 数据驱动的搜索器在多大程度上可以无需人工干预即识别出最优检测管道？
• RQ3 将人工定义的规则集成到自动化检测管道中，在多大程度上能提升检测性能？
• RQ4 一个模块化、开源的系统，若采用标准化组件，是否能够支持包括点异常、模式异常和系统异常在内的多样化异常检测场景？
• RQ5 在统一的管道框架中组合多种组件类型（如特征分析、自编码器、孤立森林）会产生何种影响？

主要发现

• TODS 支持 70 种多样化的组件，涵盖五个功能模块，可实现时间序列异常检测的全面管道构建。
• 该系统通过统一的管道接口支持端到端异常检测，同时支持基于图形界面和自动化搜索的管道发现。
• 数据驱动的搜索器可根据 F1 分数等评估指标自动识别高性能管道，减少对手动超参数调优的需求。
• 通过集成基于规则的强化模块，用户可注入领域知识，显著提升真实场景下的检测准确性。
• TODS 以 Apache 2.0 许可证发布，完整源代码和文档可在 GitHub 上获取，便于研究人员和实践者采用与扩展。
• 系统设计具备可扩展性和可伸缩性，未来计划增加更多组件，并通过基于学习的主动学习方法提升搜索效率。