[论文解读] Time Series Data Cleaning with Regular and Irregular Time Intervals

Xi Wang, Chen Wang|arXiv (Cornell University)|Apr 17, 2020

Data Quality and Management参考文献 137被引用 4

一句话总结

本综述对时间序列数据清洗技术进行了全面分类，重点关注规则与非规则时间间隔中的观测值错误。综述了单点大/小误差及连续错误的最先进方法，强调自动化清洗优于人工或丢弃式方法，并指出了未来关键研究方向，包括多维清洗、领域无关的异常检测，以及面向工业和区块链应用的专用工具。

ABSTRACT

Errors are prevalent in time series data, especially in the industrial field. Data with errors could not be stored in the database, which results in the loss of data assets. Handling the dirty data in time series is non-trivial, when given irregular time intervals. At present, to deal with these time series containing errors, besides keeping original erroneous data, discarding erroneous data and manually checking erroneous data, we can also use the cleaning algorithm widely used in the database to automatically clean the time series data. This survey provides a classification of time series data cleaning techniques and comprehensively reviews the state-of-the-art methods of each type. In particular, we have a special focus on the irregular time intervals. Besides we summarize data cleaning tools, systems and evaluation criteria from research and industry. Finally, we highlight possible directions time series data cleaning.

研究动机与目标

• 为应对工业和金融应用中时间序列数据错误日益增长的挑战，这些错误由传感器和系统限制导致，数据不可靠。
• 将观测值错误分类为三类：单点大误差、单点小误差和连续误差，以支持针对性的清洗策略。
• 综述并系统化现有时间序列的自动化数据清洗技术，尤其关注传统数据库方法在非规则时间间隔场景下失效的情况。
• 识别当前工具和评估标准的不足，并提出面向可扩展、智能且应用特定的清洗解决方案的未来研究方向。

提出的方法

• 将时间序列错误分类为三类：单点大误差（孤立点上的大幅偏差）、单点小误差（孤立点上的微小偏差）和连续误差（多个连续的错误点）。
• 调研并分析现有自动化清洗算法，包括统计方法、机器学习方法和基于模型的方法，重点评估其在非规则时间间隔中的适用性。
• 使用领域特定的评估标准（如准确性、计算效率、对噪声和缺失值的鲁棒性）评估清洗方法的性能。
• 指出当前以关系型数据库为中心的工具在时间序列处理中的局限性，并倡导采用流处理、分布式计算和实时数据管道的新工具。
• 提出将先进机器学习技术集成到清洗算法中，以提升准确性与适应性，尤其在低数据量或弱知识场景下。
• 设计面向时间序列的异常检测算法，可在无标签真实值的情况下识别错误，从而实现在工业部署中的主动清洗。

实验结果

研究问题

• RQ1 如何系统性地对时间序列数据错误进行分类，以支持针对性的清洗策略，特别是在非规则时间间隔下？
• RQ2 现有自动化清洗算法在时间序列不同类型的观测值错误中具有哪些优势与局限性？
• RQ3 如何利用机器学习和统计模型提升真实工业场景中时间序列数据清洗的准确性与可扩展性？
• RQ4 在设计高效、分布式且实时的时间序列清洗工具时，面临的关键挑战是什么，这些工具需超越传统关系型数据库系统？
• RQ5 当真实标签不可用或有限时，如何增强异常检测以识别时间序列中的错误，特别是在领域知识薄弱的场景下？

主要发现

• 雅虎财经股票数据的正确率仅为93%，凸显了真实世界时间序列中观测值错误的普遍性。
• 丢弃错误数据虽常见但非最优，因其导致宝贵数据资产的损失，尤其当错误稀疏或局部化时。
• 人工清洗虽准确但不切实际，因耗时耗力，数据仓库项目高达30–80%的时间用于清洗工作。
• 现有数据清洗工具大多不适用于时间序列，因其聚焦于关系型数据库，亟需专用的时间序列清洗系统。
• 未来清洗算法应支持多维时间序列，并整合机器学习以提升鲁棒性与泛化能力，尤其在低数据场景下。
• 异常检测必须重新构想，以适应弱监督的时间序列场景，实现在无标签真实值情况下的自动化错误识别。