[论文解读] Retrieval Based Time Series Forecasting

Baoyu Jing, Si Zhang+5 more|arXiv (Cornell University)|Sep 27, 2022

Time Series Analysis and Forecasting被引用 4

一句话总结

本文提出 ReTime，一种基于检索的时间序列预测方法，通过利用相关历史时间序列作为参考，提升在高缺失率下的预测准确性。理论分析表明，参考序列可降低预测不确定性，实证结果表明 ReTime 在真实世界数据集上表现优越，尤其在长预测时域下表现更佳。

ABSTRACT

Time series data appears in a variety of applications such as smart transportation and environmental monitoring. One of the fundamental problems for time series analysis is time series forecasting. Despite the success of recent deep time series forecasting methods, they require sufficient observation of historical values to make accurate forecasting. In other words, the ratio of the output length (or forecasting horizon) to the sum of the input and output lengths should be low enough (e.g., 0.3). As the ratio increases (e.g., to 0.8), the uncertainty for the forecasting accuracy increases significantly. In this paper, we show both theoretically and empirically that the uncertainty could be effectively reduced by retrieving relevant time series as references. In the theoretical analysis, we first quantify the uncertainty and show its connections to the Mean Squared Error (MSE). Then we prove that models with references are easier to learn than models without references since the retrieved references could reduce the uncertainty. To empirically demonstrate the effectiveness of the retrieval based time series forecasting models, we introduce a simple yet effective two-stage method, called ReTime consisting of a relational retrieval and a content synthesis. We also show that ReTime can be easily adapted to the spatial-temporal time series and time series imputation settings. Finally, we evaluate ReTime on real-world datasets to demonstrate its effectiveness.

研究动机与目标

• 解决历史观测值有限时时间序列预测的高不确定性问题，特别是在高缺失率（例如 0.8）下的挑战。
• 理论上利用条件熵量化预测不确定性，并将其与均方误差（MSE）关联。
• 证明使用检索参考序列的模型因不确定性降低而更易训练。
• 开发一种实用的两阶段方法 ReTime，以实现高效的时间序列预测、填补缺失值及时空建模。
• 通过多个真实世界数据集和场景的实证验证 ReTime 的有效性。

提出的方法

• ReTime 采用两阶段框架：首先，基于结构或拓扑关系（如传感器邻接性）而非内容相似性，通过关联性检索识别相关参考时间序列。
• 关联性检索即使在输入历史值稀疏或受损时，也能确保可靠性。
• 其次，内容融合通过可学习的融合模块，将目标时间序列与检索到的参考序列结合，生成未来值。
• 该方法可通过将目标自身的历史片段视为最优参考，适配于时空预测与时间序列填补任务。
• 理论分析证明，基于参考的模型可通过降低预测的条件熵来减少不确定性。
• 通过消融实验评估超参数（包括参考数量 K），结果表明在 K=5–10 时性能最优。

实验结果

研究问题

• RQ1 预测不确定性能否通过理论方法量化，并与 MSE 等标准指标建立关联？
• RQ2 检索相关参考时间序列是否能降低预测不确定性并提升模型泛化能力，特别是在高缺失率下？
• RQ3 结合关联性检索与内容融合的两阶段方法，是否能在长时域预测中超越现有深度学习模型？
• RQ4 所提出的 ReTime 框架是否不仅适用于预测，也适用于时间序列填补与时空建模？
• RQ5 检索参考数量（K）如何影响 ReTime 的性能与计算成本？

主要发现

• 理论分析证实，通过条件熵衡量的预测不确定性与均方误差（MSE）直接相关，为不确定性量化提供了形式化基础。
• 使用检索参考的模型表现出更低的不确定性，且更易训练，因为参考降低了预测任务的有效复杂度。
• ReTime 在真实世界数据集上达到最先进性能，尤其在高缺失率（如 0.8）下表现卓越，此时标准模型性能显著下降。
• ReTime 的最优参考数量（K）介于 5 到 10 之间，可在性能与计算成本之间实现良好平衡。
• 训练时间与 GPU 显存使用量随 K 呈线性增长，表明资源消耗可预测且可扩展。