[论文解读] Series Saliency: Temporal Interpretation for Multivariate Time Series Forecasting

Qingyi Pan, Wenbo Hu+1 more|arXiv (Cornell University)|Dec 16, 2020

Time Series Analysis and Forecasting参考文献 40被引用 6

一句话总结

本文提出了一种名为 Series Saliency 的新型可解释多变量时间序列预测框架，通过在滑动窗口生成的 'series images' 上使用显著性图联合建模特征重要性和时间重要性。通过应用最小破坏区域原则并结合掩码技术，该方法生成了局部化、人类可解释的热力图，同时在真实世界数据集上提升了预测的鲁棒性和准确性。

ABSTRACT

Time series forecasting is an important yet challenging task. Though deep learning methods have recently been developed to give superior forecasting results, it is crucial to improve the interpretability of time series models. Previous interpretation methods, including the methods for general neural networks and attention-based methods, mainly consider the interpretation in the feature dimension while ignoring the crucial temporal dimension. In this paper, we present the series saliency framework for temporal interpretation for multivariate time series forecasting, which considers the forecasting interpretation in both feature and temporal dimensions. By extracting the "series images" from the sliding windows of the time series, we apply the saliency map segmentation following the smallest destroying region principle. The series saliency framework can be employed to any well-defined deep learning models and works as a data augmentation to get more accurate forecasts. Experimental results on several real datasets demonstrate that our framework generates temporal interpretations for the time series forecasting task while produces accurate time series forecast.

研究动机与目标

• 解决深度学习模型在多变量时间序列预测中缺乏时序可解释性的问题，现有方法仅关注特征重要性或注意力权重。
• 通过提供在特征和时间维度上均具有可解释性的局部化解释，克服黑箱模型的局限性。
• 开发一种可泛化的框架，兼容任意时间序列预测深度学习架构。
• 通过基于显著性的掩码和噪声注入实现数据增强，提升预测性能。
• 利用基于热力图的显著性图，实现对影响模型预测的时序步长和特征的有意义可视化。

提出的方法

• 通过沿时间轴应用滑动窗口，将多变量时间序列表示为 'series images'，形成 $ w \times D $ 张量，其中 $ w $ 为窗口大小，$ D $ 为特征维度。
• 应用最小破坏区域（SDR）原则，通过迭代掩码和测量预测性能下降，识别出序列图像中最具影响力的区域。
• 使用高斯噪声或模糊化等掩码技术扰动输入区域，并基于模型输出变化计算显著性分数。
• 在掩码上引入平滑性惩罚，以保持空间局部性，并确保特征可交换性得到一致处理。
• 将显著性框架作为可微分的数据增强技术集成，以提升模型鲁棒性和预测准确性。
• 将最终的显著性图可视化为热力图，展示每个预测时间步的时序和特征重要性。

实验结果

研究问题

• RQ1 如何在多变量时间序列预测中，超越单点解释，联合解释特征和时间的重要性？
• RQ2 基于最小破坏区域原则的显著性图是否能有效识别时间序列中最具影响力的时间步长和特征？
• RQ3 所提出的显著性框架在保持可解释性的同时，能在多大程度上提升预测性能？
• RQ4 该框架如何处理多变量时间序列中的特征可交换性和空间相关性？
• RQ5 基于显著性的掩码技术能否作为时间序列预测模型的有效数据增强策略？

主要发现

• Series Saliency 框架成功生成了局部化、可解释的热力图，清晰突出了每个预测输出最具有影响力的时序步长和特征。
• 该方法通过噪声注入掩码实现的数据增强，显著提升了在多个真实世界数据集上的预测性能。
• 基于最小破坏区域原则生成的显著性图相比标准梯度方法，产生了更具意义且更稳定的解释结果。
• 该框架兼容任意时间序列预测深度学习架构，在 RNN、LSTM 和 Transformer 等模型上均展现出良好的泛化能力。
• 可视化分析证实，显著性图与领域知识高度一致——例如，能准确识别出驱动预测的关键发电厂或交通模式。
• 该方法在预测准确性上优于或匹配当前最先进基线模型，同时在时序和特征维度上均提供了更优的可解释性。