[论文解读] Time Series Data Imputation: A Survey on Deep Learning Approaches

Chenguang Fang, Chen Wang|arXiv (Cornell University)|Nov 23, 2020

Time Series Analysis and Forecasting参考文献 52被引用 35

一句话总结

一个关于多变量时间序列缺失值填充的深度学习方法综述，聚焦GRU-D、GRUI-GAN、E2 GAN、BRITS和NAOMI，并讨论它们的架构、优点与局限。

ABSTRACT

Time series are all around in real-world applications. However, unexpected accidents for example broken sensors or missing of the signals will cause missing values in time series, making the data hard to be utilized. It then does harm to the downstream applications such as traditional classification or regression, sequential data integration and forecasting tasks, thus raising the demand for data imputation. Currently, time series data imputation is a well-studied problem with different categories of methods. However, these works rarely take the temporal relations among the observations and treat the time series as normal structured data, losing the information from the time data. In recent, deep learning models have raised great attention. Time series methods based on deep learning have made progress with the usage of models like RNN, since it captures time information from data. In this paper, we mainly focus on time series imputation technique with deep learning methods, which recently made progress in this field. We will review and discuss their model architectures, their pros and cons as well as their effects to show the development of the time series imputation methods.

研究动机与目标

• 动机：在存在缺失值和不规则时间间隙的时间序列中，迫切需要有效的填充方法。
• 对时间序列填充的深度学习方法进行分类与比较。
• 解释模型架构、数据表示（掩码、时间延迟）以及填充的训练策略。
• 突出方法之间的关系并识别当前基于DL的填充技术的优缺点。

提出的方法

• 将填充方法分为基于DL的与传统技术。
• 讨论用于DL填充的模型架构（RNN、GRU、双向变体、GANs）。
• 介绍缺失数据的数据表示（掩码矩阵、时间延迟 δ）。
• 描述关键模型：GRU-D、GRUI-GAN、E2 GAN、BRITS、NAOMI，包括衰减机制和双向更新。
• 分析如何处理不规则时间序列，以及自编码器与对抗训练如何提升性能。

实验结果

研究问题

• RQ1 哪些基于DL的架构和输入表示能够最好地捕捉时序动态以推断缺失的时间序列值？
• RQ2 不规则时间间隔和缺失模式如何影响主流模型的填充性能？
• RQ3 GRU-D、GRUI-GAN、E2 GAN、BRITS和NAOMI在多变量时间序列填充中的比较优势与局限？
• RQ4 如何利用双向性以及自编码器或对抗训练来提高填充准确性？

主要发现

• 基于DL的填充方法（GRU-D、GRUI-GAN、E2 GAN、BRITS、NAOMI）可以利用RNN和GAN来建模时序动态和缺失性。
• GRU-D 引入时间延迟和输入/隐藏衰减机制以处理不规则时间序列。
• GRUI-GAN 与 E2 GAN 将GAN框架应用于填充，E2 GAN 使用自编码器生成器以提升训练稳定性。
• BRITS 展现基于双向RNN的填充，具备时间衰减和一致性损失，相较单向模型提高了结果。
• NAOMI 采用非自回归、双向RNN，具分治预测策略和对抗训练以提升填充质量。
• 该综述阐明了方法之间的关系，并指出基于注意力、时间戳填充和一致性机会等未来方向。