[论文解读] PyODDS: An End-to-end Outlier Detection System with Automated Machine Learning

Yuening Li, Daochen Zha+3 more|arXiv (Cornell University)|Mar 12, 2020

Anomaly Detection Techniques and Applications参考文献 22被引用 4

一句话总结

PyODDS 是一个端到端的自动化异常检测系统，通过自动化机器学习（AutoML）优化异常检测流水线，包括算法选择和超参数调优。它利用定义好的搜索空间和贝叶斯优化策略，在真实数据集上实现了最先进性能，F1得分和收敛速度均优于手工设计的模型及随机搜索基线。

ABSTRACT

Outlier detection is an important task for various data mining applications. Current outlier detection techniques are often manually designed for specific domains, requiring large human efforts of database setup, algorithm selection, and hyper-parameter tuning. To fill this gap, we present PyODDS, an automated end-to-end Python system for Outlier Detection with Database Support, which automatically optimizes an outlier detection pipeline for a new data source at hand. Specifically, we define the search space in the outlier detection pipeline, and produce a search strategy within the given search space. PyODDS enables end-to-end executions based on an Apache Spark backend server and a light-weight database. It also provides unified interfaces and visualizations for users with or without data science or machine learning background. In particular, we demonstrate PyODDS on several real-world datasets, with quantification analysis and visualization results.

研究动机与目标

• 解决在不同领域中手动配置异常检测流水线所需的人工投入过高的问题。
• 自动化联合优化异常检测中的算法选择、超参数调优和异常比例估计。
• 通过 Apache Spark 和轻量级数据库实现端到端执行，支持可扩展的真实环境部署。
• 为技术与非技术用户提供统一、友好的接口和可视化功能。
• 展示 AutoML 原理在真实数据挖掘任务中的有效性，不仅限于模型训练，更扩展到异常检测流水线。

提出的方法

• PyODDS 定义了一个包含多种异常检测算法、其超参数（离散、序数、连续）以及异常比例作为可配置组件的搜索空间。
• 采用基于贝叶斯优化的搜索策略，高效探索搜索空间，识别高性能的流水线配置。
• 系统使用 Apache Spark 作为后端进行分布式数据处理，使用 TDengine 作为轻量级数据库进行数据存储与检索。
• 提供统一的 API 和可视化层，展示原始数据、异常得分、时间序列分解（趋势、季节性、残差）以及概率密度函数。
• 通过查询函数支持灵活的时间片分割，并通过身份验证实现安全的服务器连接。
• 系统使用 F1 得分、精确率和召回率评估流水线性能，并支持自定义奖励函数以权衡误报和漏报。

实验结果

研究问题

• RQ1 自动化系统能否联合优化算法选择与超参数调优，实现优于手工设计模型的异常检测性能？
• RQ2 在真实数据集上，PyODDS 的搜索策略相较于随机搜索在收敛速度和最终性能方面表现如何？
• RQ3 PyODDS 在无需人工干预的情况下，对多样化数据源的泛化能力如何？
• RQ4 系统能否提供可解释的可视化功能，帮助非专家用户理解检测结果和数据模式？
• RQ5 将 AutoML 原理整合到端到端异常检测流水线中，对真实世界数据挖掘应用的有效性如何？

主要发现

• PyODDS 在 NAB 基准测试中达到最高 F1 得分为 96.68，与最佳手工设计模型性能相当，并优于随机搜索基线。
• 系统发现了一个表现最优的流水线配置（OCSVM 搭配特定超参数），实现了 96.68 的 F1 得分，95.27 的召回率（低误报），以及 94.76 的精确率（低漏报）。
• 与随机搜索相比，PyODDS 收敛更快，并在多个数据集上识别出更高性能的架构（前 5 名），展现出更优的搜索效率。
• 可视化分析组件有效展示了数据分布、异常得分和残差分量，使用户能够解释如尖峰和极端值等异常现象。
• 通过自动化流水线配置（包括异常比例估计和算法选择），系统显著减少了对专家干预的需求。
• Apache Spark 与 TDengine 的集成实现了时间序列数据的可扩展、实时处理，支持大规模部署。