[论文解读] pyWATTS: Python Workflow Automation Tool for Time Series

Benedikt Heidrich, Andreas Bartschat+8 more|arXiv (Cornell University)|Jun 18, 2021

Time Series Analysis and Forecasting参考文献 7被引用 9

一句话总结

pyWATTS 是一个开源的、平台无关的 Python 框架，支持时间序列分析的非顺序、模块化工作流自动化。它通过清晰定义的接口、子工作流复用机制以及工作流持久化，实现了与 scikit-learn、PyTorch 和 Keras 的无缝集成，确保可重现性，解决了时间序列研究中可重用性和可重现性的关键挑战。

ABSTRACT

Time series data are fundamental for a variety of applications, ranging from financial markets to energy systems. Due to their importance, the number and complexity of tools and methods used for time series analysis is constantly increasing. However, due to unclear APIs and a lack of documentation, researchers struggle to integrate them into their research projects and replicate results. Additionally, in time series analysis there exist many repetitive tasks, which are often re-implemented for each project, unnecessarily costing time. To solve these problems we present exttt{pyWATTS}, an open-source Python-based package that is a non-sequential workflow automation tool for the analysis of time series data. pyWATTS includes modules with clearly defined interfaces to enable seamless integration of new or existing methods, subpipelining to easily reproduce repetitive tasks, load and save functionality to simply replicate results, and native support for key Python machine learning libraries such as scikit-learn, PyTorch, and Keras.

研究动机与目标

• 解决由于现有工具的 API 不一致和文档质量差，导致时间序列分析中可重用性和可重现性不足的问题。
• 减少重复实现常见预处理任务（如缺失值插补、日历特征提取和季节性调整）的冗余工作。
• 使研究人员能够轻松将新的或第三方的机器学习方法集成到标准化、可组合的工作流中。
• 支持非线性工作流，包括条件执行和并行处理，突破现有工具中线性工作流的限制。
• 提供一个模块化、可扩展的框架，支持完整工作流配置的保存、加载和共享，以实现实验的完全可重现性。

提出的方法

• pyWATTS 采用模块化架构，所有组件均通过清晰定义的接口（fit 和 transform 方法）实现，支持新方法或现有方法的即插即用式集成。
• 支持子工作流机制，允许将预处理或特征工程等可重用组件封装并跨多个工作流复用。
• 通过通用包装器原生集成主流机器学习库（包括 scikit-learn、PyTorch 和 Keras），实现端到端的工作流执行。
• 通过实现条件执行、分支路径和合并路径，支持非线性工作流，突破了如 scikit-pipeline 和 river 等工具在执行流程上的线性限制。
• pyWATTS 支持中间结果的可视化，并通过 cloudpickle 序列化实现跨平台的工作流持久化。
• 框架使用 xarray 进行结构化数据处理，确保在整个工作流中实现稳健且可扩展的时间序列数据管理。

实验结果

研究问题

• RQ1 如何实现时间序列分析工作流的自动化，同时支持顺序和非顺序的执行路径？
• RQ2 像 PyTorch 和 Keras 这样的现有机器学习库在多大程度上可以无缝集成到统一的、可重用的工作流框架中？
• RQ3 子工作流机制和工作流持久化是否能显著提升时间序列实验的可重用性和可重现性？
• RQ4 基于条件的模块选择机制在根据数据特征或一天中不同时段动态调整工作流方面有多高效？
• RQ5 模块化、可扩展的框架是否能减少在重复实现常见预处理和建模步骤上所花费的时间和精力？

主要发现

• pyWATTS 支持带有条件判断、分支和并行路径的非线性工作流执行，突破了如 scikit-pipeline 和 river 等现有工具在执行流程上的线性限制。
• 该框架通过通用包装器成功集成 scikit-learn、PyTorch 和 Keras，实现在单一工作流中端到端的深度学习和传统机器学习工作流。
• 子工作流机制允许用户封装并复用常见处理步骤（如日历特征提取或插补）而无需重复实现，适用于多个实验。
• 通过保存/加载功能实现的工作流持久化，确保了实验的完全可重现性，即使在不同环境或时间点之间也能保持一致。
• 条件机制可根据数据特征（如在电能负荷预测中根据白天或夜晚切换预测模型）实现模块的动态选择。
• 该框架已在能源系统研究中成功应用，包括合成时间序列生成和异常注入，证明了其可扩展性和实际应用价值。