[论文解读] Multilevel Wavelet Decomposition Network for Interpretable Time Series Analysis

Jingyuan Wang, Ze Wang+2 more|arXiv (Cornell University)|Jun 23, 2018

Time Series Analysis and Forecasting参考文献 36被引用 6

一句话总结

本文提出多级小波分解网络（mWDN），一种可训练的小波基深度学习架构，将多级离散小波分解整合至端到端深度学习框架中。通过实现小波参数的反向传播，mWDN捕捉到频率感知的表征，并应用于两种模型——用于时间序列分类的残差分类流（RCF）与用于预测的多频LSTM（mLSTM），在40个UCR数据集和一个真实世界用户量数据集上实现最先进性能，同时提出一种可解释的重要性分析方法，识别关键特征与网络层。

ABSTRACT

Recent years have witnessed the unprecedented rising of time series from almost all kindes of academic and industrial fields. Various types of deep neural network models have been introduced to time series analysis, but the important frequency information is yet lack of effective modeling. In light of this, in this paper we propose a wavelet-based neural network structure called multilevel Wavelet Decomposition Network (mWDN) for building frequency-aware deep learning models for time series analysis. mWDN preserves the advantage of multilevel discrete wavelet decomposition in frequency learning while enables the fine-tuning of all parameters under a deep neural network framework. Based on mWDN, we further propose two deep learning models called Residual Classification Flow (RCF) and multi-frequecy Long Short-Term Memory (mLSTM) for time series classification and forecasting, respectively. The two models take all or partial mWDN decomposed sub-series in different frequencies as input, and resort to the back propagation algorithm to learn all the parameters globally, which enables seamless embedding of wavelet-based frequency analysis into deep learning frameworks. Extensive experiments on 40 UCR datasets and a real-world user volume dataset demonstrate the excellent performance of our time series models based on mWDN. In particular, we propose an importance analysis method to mWDN based models, which successfully identifies those time-series elements and mWDN layers that are crucially important to time series analysis. This indeed indicates the interpretability advantage of mWDN, and can be viewed as an indepth exploration to interpretable deep learning.

研究动机与目标

• 为解决深度学习在时间序列中缺乏有效频率建模的问题，通过将小波分解整合至端到端训练中。
• 克服传统小波变换作为固定预处理步骤的局限性，这些步骤未与深度学习模型联合优化。
• 开发具备频率感知能力的深度学习模型，同时保留小波的时间-频率局部化特性，并支持全局参数微调。
• 通过引入基于梯度的显著性重要性分析方法，增强模型可解释性，识别时间序列中关键元素与mWDN层。
• 通过端到端可训练的小波基架构，在时间序列分类与预测任务中展示卓越性能。

提出的方法

• 提出多级小波分解网络（mWDN），一种可微分的小波分解层，其中所有小波滤波器参数均可通过反向传播进行训练。
• 将多级离散小波分解（MDWD）改造为神经网络层，实现从原始时间序列中提取分层频率子序列。
• 通过将mWDN在多级分解后生成的子序列输入堆叠的、基于残差学习的分类器，设计残差分类流（RCF），用于时间序列分类。
• 开发多频长短期记忆网络（mLSTM），通过独立的LSTM处理mWDN输出的高频子序列，并融合其输出结果以实现预测。
• 采用端到端反向传播，联合优化mWDN参数与下游模型权重，实现频率分析与深度学习的无缝集成。
• 提出一种基于梯度显著性的方法，用于识别对模型预测至关重要的时间序列元素与mWDN层。

实验结果

研究问题

• RQ1 能否使基于小波的神经网络层完全可训练，以支持端到端学习，同时保持频率分解能力？
• RQ2 与固定小波预处理相比，可训练小波分解的集成在时间序列分类与预测中的性能提升如何？
• RQ3 mWDN框架是否能通过识别时间序列分析中的关键特征与层，支持可解释深度学习？
• RQ4 所提出的基于mWDN的模型是否在标准时间序列基准上超越最先进方法？
• RQ5 不同频率带对模型性能的贡献程度如何？是否可进行定量评估？

主要发现

• RCF在40个UCR时间序列分类数据集上达到最先进性能，优于现有深度学习与传统方法。
• mLSTM在真实世界用户量数据集上展现出更优的预测精度，证实多频输入处理的优势。
• 重要性分析方法成功识别出关键时间序列片段与mWDN层，验证了模型的可解释性，并提供了对频率贡献的洞察。
• 通过反向传播实现mWDN的端到端训练，使小波参数实现全局优化，相比固定小波变换提升了特征表征能力。
• 大量实验表明，通过mWDN实现的频率感知建模在分类与预测任务中均带来一致的性能提升。
• 将小波分解作为可学习层集成至深度网络，为实现可解释、频率感知的时间序列深度学习提供了可行路径。