[论文解读] Probabilistic Time Series Forecasting with Structured Shape and Temporal Diversity

Vincent Le Guen, Nicolas Thome|arXiv (Cornell University)|Oct 14, 2020

Time Series Analysis and ForecastingComputer Science参考文献 8被引用 20

一句话总结

本文提出STRIP，一种基于可微分、半正定行列式点过程（DPP）核的随机时间序列预测框架，通过在解耦的潜在空间中采用迭代采样机制，将质量与多样性目标解耦，从而实现对结构化形状和时间多样性的建模。STRIP生成的预测结果在合成数据集和真实世界数据集上均展现出更优的多样性与预测质量，优于当前最先进方法。

ABSTRACT

Probabilistic forecasting consists in predicting a distribution of possible future outcomes. In this paper, we address this problem for non-stationary time series, which is very challenging yet crucially important. We introduce the STRIPE model for representing structured diversity based on shape and time features, ensuring both probable predictions while being sharp and accurate. STRIPE is agnostic to the forecasting model, and we equip it with a diversification mechanism relying on determinantal point processes (DPP). We introduce two DPP kernels for modeling diverse trajectories in terms of shape and time, which are both differentiable and proved to be positive semi-definite. To have an explicit control on the diversity structure, we also design an iterative sampling mechanism to disentangle shape and time representations in the latent space. Experiments carried out on synthetic datasets show that STRIPE significantly outperforms baseline methods for representing diversity, while maintaining accuracy of the forecasting model. We also highlight the relevance of the iterative sampling scheme and the importance to use different criteria for measuring quality and diversity. Finally, experiments on real datasets illustrate that STRIPE is able to outperform state-of-the-art probabilistic forecasting approaches in the best sample prediction.

研究动机与目标

• 为解决非平稳时间序列生成清晰、多样且准确的概率预测的挑战。
• 提出一种结构化多样性机制，显式控制预测轨迹中的形状与时间变化。
• 在概率预测中解耦质量与多样性目标，避免预测准确率与多样性之间的权衡。
• 通过在解耦潜在表示中迭代采样，实现对多样性结构的显式控制。
• 证明结合结构化多样性与质量感知训练可同时提升多样性与平均预测性能。

提出的方法

• 提出两种可微分、半正定的DPP核，分别用于建模未来轨迹的形状（通过DTW）和时间（通过TDI）特征的多样性。
• 引入一种解耦的潜在空间表示，通过迭代采样机制显式分离形状与时间分量。
• 采用基于DPP的多样性机制，确保预测结果多样化且无冗余，同时保持高质量。
• 使用与STRIP无关的预测模型，支持与确定性模型及生成模型的集成。
• 采用多目标训练策略，分别使用质量损失（如DILATE）和多样性损失（通过DPP核）的独立损失函数。
• 采用一种迭代采样方案，逐步优化潜在空间中的形状与时间表示。

实验结果

研究问题

• RQ1 能否在概率预测中，通过可微分、半正定的DPP核有效建模形状与时间的结构化多样性？
• RQ2 解耦质量与多样性目标是否能带来预测准确率与多样性之间更优的权衡？
• RQ3 在解耦潜在空间中进行迭代采样，是否能提升预测轨迹中形状与时间特征的解耦程度？
• RQ4 在平均预测质量与最佳样本多样性方面，STRIP相较于最先进模型表现如何？
• RQ5 多样性与质量度量的选择在多大程度上影响概率预测模型的性能？

主要发现

• 在合成数据集与真实世界数据集上，STRIP S+T在最佳样本轨迹评估中优于所有基线方法，MSE与DILATE损失均更低。
• 在ETTh1与ECL数据集上，STRIP S+T在最佳样本预测中表现最佳，甚至优于最先进确定性模型N-BEATS。
• 迭代采样机制成功实现了形状与时间表示的解耦，使预测结果具有更结构化且可解释的多样性。
• 实验表明，STRIP在保持或略微提升平均预测质量的同时，显著提高了多样性，而其他模型则在多样性与质量之间存在权衡。
• 散点图分析表明，STRIP S+T在形状多样性（DTW）与时间多样性（TDI）之间实现了更优平衡，且DILATE损失始终较低，而其他模型则以牺牲质量为代价提升多样性。
• 消融研究证明，使用不同的质量与多样性标准至关重要——使用相同度量的模型因目标冲突导致性能下降。