[论文解读] TILDE-Q: A Transformation Invariant Loss Function for Time-Series Forecasting

Hyunwook Lee, Chunggi Lee+2 more|arXiv (Cornell University)|Oct 26, 2022

Time Series Analysis and Forecasting被引用 5

一句话总结

本文提出 TILDE-Q，一种用于时间序列预测的新型变换不变损失函数，通过在幅度和相位失真下保持不变，增强形状感知表征学习。通过在多种失真类型间实现距离均衡，TILDE-Q 在短时和长时任务中均提升了预测准确性，在真实世界数据集上优于 MSE、DTW、TDI 和 LCSS，且在 N-BEATS 和 Informer 等先进模型上表现卓越。

ABSTRACT

Time-series forecasting has gained increasing attention in the field of artificial intelligence due to its potential to address real-world problems across various domains, including energy, weather, traffic, and economy. While time-series forecasting is a well-researched field, predicting complex temporal patterns such as sudden changes in sequential data still poses a challenge with current models. This difficulty stems from minimizing Lp norm distances as loss functions, such as mean absolute error (MAE) or mean square error (MSE), which are susceptible to both intricate temporal dynamics modeling and signal shape capturing. Furthermore, these functions often cause models to behave aberrantly and generate uncorrelated results with the original time-series. Consequently, developing a shape-aware loss function that goes beyond mere point-wise comparison is essential. In this paper, we examine the definition of shape and distortions, which are crucial for shape-awareness in time-series forecasting, and provide a design rationale for the shape-aware loss function. Based on our design rationale, we propose a novel, compact loss function called TILDEQ (Transformation Invariant Loss function with Distance EQuilibrium) that considers not only amplitude and phase distortions but also allows models to capture the shape of time-series sequences. Furthermore, TILDE-Q supports the simultaneous modeling of periodic and nonperiodic temporal dynamics. We evaluate the efficacy of TILDE-Q by conducting extensive experiments under both periodic and nonperiodic conditions with various models ranging from naive to state-of-the-art. The experimental results show that the models trained with TILDE-Q surpass those trained with other metrics, such as MSE and DILATE, in various real-world applications, including electricity, traffic, illness, economics, weather, and electricity transformer temperature (ETT).

研究动机与目标

• 为解决 MSE 和 MAE 等标准损失函数无法捕捉时间序列数据中时间形状动态的局限性。
• 设计一种对常见失真（幅度偏移、相位偏移和均匀放大）保持不变的损失函数，从而实现更优的形状感知预测。
• 开发一种与模型无关的损失函数，可在不修改现有预测模型架构的前提下，增强时间动态建模能力。
• 通过实证验证，形状感知训练通过 TILDE-Q 可在短时和长时预测任务中生成更具信息量、更准确且更鲁棒的时间序列预测。

提出的方法

• TILDE-Q 被构建为一个复合损失函数，包含三个独立项，分别针对特定类型的信号失真实现不变性：幅度偏移、相位偏移和均匀放大。
• 损失函数引入了距离均衡机制，以平衡各类失真不变项的贡献，确保优化过程稳定且高效。
• 其采用可微分的公式化表达，支持通过保持形状的变换进行反向传播，从而实现与深度学习模型的端到端训练。
• 该方法设计为对真实序列与预测序列之间变换集合保持不变，而不仅限于数值差异。
• TILDE-Q 可兼容任意序列到序列的预测模型，具备模型无关性，可轻松集成至现有流水线中。
• 损失函数通过标准深度学习训练流程进行优化，除标准的初始学习率和权重衰减外，无需额外超参数。

实验结果

研究问题

• RQ1 能否设计一种损失函数，使其在对幅度和相位失真保持不变的同时，仍能保持时间序列预测中的形状保真度？
• RQ2 与 MSE 和 DTW 等标准指标相比，通过 TILDE-Q 实现的形状感知训练在预测准确性和时间动态捕捉方面表现如何？
• RQ3 TILDE-Q 是否在多样化的现实世界数据集上，对短时和长时预测任务均提升了性能？
• RQ4 与基线损失函数相比，TILDE-Q 在多大程度上增强了模型预测的鲁棒性和信息量？
• RQ5 TILDE-Q 是否可有效应用于 N-BEATS 和 Informer 等最先进模型，且无需进行架构修改？

主要发现

• 在 ETT 数据集上，使用 TILDE-Q 训练的模型相比使用 MSE 训练的 N-BEATS，LCSS 得分提升了 10%，表明其具有更优的形状保持能力。
• 在长时预测（L=720）任务中，TILDE-Q 在三个真实世界数据集（ETTh2、ETTm2、ECL）上均优于 MSE 和 DILATE，MSE 平均提升 15-20%，LCSS 提升 10%。
• 在 ECG5000 数据集上，DILATE 因对噪声高度敏感而表现欠佳，而 TILDE-Q 保持了稳健性能，证明其在噪声环境下的稳定性。
• 在短时预测（L=96）任务中，TILDE-Q 在 ETTh2 上实现了最低的 MSE（0.1494），在 ECL 上实现了最低的 LCSS（0.6912），优于所有基线模型。
• 消融研究证实，TILDE-Q 的每一项组件均对不变性和形状感知有贡献，完整损失函数在所有指标和数据集上均取得最佳结果。