[论文解读] Rethinking Channel Dependence for Multivariate Time Series Forecasting: Learning from Leading Indicators

Lifan Zhao, Yanyan Shen|arXiv (Cornell University)|Jan 31, 2024

Forecasting Techniques and Applications被引用 4

一句话总结

本文提出 LIFT，一种用于多变量时间序列预测的即插即用方法，通过动态识别变量之间的局部平稳领先-滞后关系来提升性能。通过在每一步估计领先指标及其时间延迟，并利用频域感知的修正器优化预测结果，LIFT 在六个真实世界数据集上平均提升了 5.5% 的 SOTA 模型性能。

ABSTRACT

Recently, channel-independent methods have achieved state-of-the-art performance in multivariate time series (MTS) forecasting. Despite reducing overfitting risks, these methods miss potential opportunities in utilizing channel dependence for accurate predictions. We argue that there exist locally stationary lead-lag relationships between variates, i.e., some lagged variates may follow the leading indicators within a short time period. Exploiting such channel dependence is beneficial since leading indicators offer advance information that can be used to reduce the forecasting difficulty of the lagged variates. In this paper, we propose a new method named LIFT that first efficiently estimates leading indicators and their leading steps at each time step and then judiciously allows the lagged variates to utilize the advance information from leading indicators. LIFT plays as a plugin that can be seamlessly collaborated with arbitrary time series forecasting methods. Extensive experiments on six real-world datasets demonstrate that LIFT improves the state-of-the-art methods by 5.5% in average forecasting performance. Our code is available at https://github.com/SJTU-Quant/LIFT.

研究动机与目标

• 解决通道独立方法在多变量时间序列（MTS）中遗漏有用跨通道依赖关系的局限性。
• 探究变量之间的局部平稳领先-滞后关系是否可被利用以提升预测准确性。
• 开发一种动态识别领先指标及其时间延迟的方法，适用于实时预测。
• 设计一种与任意主干模型兼容的即插即用模块，提升性能而无需重构网络架构。

提出的方法

• 提出一种高效的交叉相关算法，用于在每个时间步动态估计领先指标及其领先步长。
• 引入一种目标导向的时移技巧，根据估计的领先时间将每个变量与其领先指标对齐。
• 采用主干模型（如 DLinear、LightMTS）进行初始预测，随后通过一种领先感知修正器，从领先指标中筛选并融合有信息量的频域分量。
• 在领先感知修正器中设计一种自适应频率混合器，选择性地吸收领先指标中的有益频域分量，同时抑制噪声。
• 使用变量状态表征来建模上下文相关的领先-滞后模式，尤其在具有多样化传感器测量值的异构 MTS 中表现突出。
• 将整个流程整合为一个即插即用模块，可无缝集成到任意现有 MTS 预测模型中。

实验结果

研究问题

• RQ1 变量之间的局部平稳领先-滞后关系是否可被有效利用以提升多变量时间序列预测性能？
• RQ2 如何在无需先验假设的前提下，实时动态估计领先指标及其时间延迟？
• RQ3 将领先指标的频域信号引入对预测准确性有何影响？
• RQ4 LIFT 在不同数据集中领先-滞后关系发生分布偏移时，性能表现如何变化？
• RQ5 当增强领先-滞后建模后，轻量级通道独立基线模型（如 LightMTS）是否能超越复杂模型？

主要发现

• LIFT 在六个真实世界数据集上平均提升 SOTA 性能 5.5%，表明其对现有方法具有持续且显著的增益。
• 在增强 LIFT 后，LightMTS 基线模型在 Weather 数据集上超越复杂模型 PatchTST 3.2%，在 Electricity 数据集上超越 0.7%。
• 消融实验表明，领先感知修正器中的影响分量与差异分量均至关重要，任一缺失均导致性能显著下降。
• 无过滤机制的变体性能最差，表明对频域分量的自适应噪声抑制对模型鲁棒性至关重要。
• 当 K（领先指标数量）和 N（变量状态数量）取适中值时性能最优，过度估计会导致在稀疏或噪声较大的数据集上性能下降。
• 变量状态表征在异构 MTS（如 Weather）中尤为关键，忽略该设计会导致性能最大降幅。