[论文解读] RTFN: A Robust Temporal Feature Network for Time Series Classification

Zhiwen Xiao, Xin Xu+4 more|arXiv (Cornell University)|Nov 24, 2020

Time Series Analysis and Forecasting参考文献 70被引用 6

一句话总结

该论文提出RTFN，一种用于时间序列分类的新型鲁棒时间特征网络，结合了用于局部特征提取的残差卷积网络（TFN）和用于建模特征间长程依赖性和关系的LSTM注意力网络（LSTMaN）。RTFN在UCR2018和UEA2018数据集上，在监督和无监督设置下均取得了最先进性能。

ABSTRACT

Time series data usually contains local and global patterns. Most of the existing feature networks pay more attention to local features rather than the relationships among them. The latter is, however, also important yet more difficult to explore. To obtain sufficient representations by a feature network is still challenging. To this end, we propose a novel robust temporal feature network (RTFN) for feature extraction in time series classification, containing a temporal feature network (TFN) and an LSTM-based attention network (LSTMaN). TFN is a residual structure with multiple convolutional layers. It functions as a local-feature extraction network to mine sufficient local features from data. LSTMaN is composed of two identical layers, where attention and long short-term memory (LSTM) networks are hybridized. This network acts as a relation extraction network to discover the intrinsic relationships among the extracted features at different positions in sequential data. In experiments, we embed RTFN into a supervised structure as a feature extractor and into an unsupervised structure as an encoder, respectively. The results show that the RTFN-based structures achieve excellent supervised and unsupervised performance on a large number of UCR2018 and UEA2018 datasets.

研究动机与目标

• 为解决时间序列分类中表征学习不足的问题，特别是局部特征间关系探索不足的问题。
• 通过在统一的深度学习框架中结合局部模式挖掘与关系建模，改进特征提取。
• 开发一种鲁棒的端到端架构，以提升监督和无监督时间序列分类任务的性能。
• 通过分层特征与关系学习，在UCR2018和UEA2018等标准基准上超越现有方法。

提出的方法

• RTFN由两部分组成：用于局部特征提取的时序特征网络（TFN），即带有多个卷积层的残差CNN。
• LSTMaN模块结合双向LSTM与多头注意力机制，以建模不同时间位置提取的特征之间的长期依赖性和关系。
• 该网络在监督设置下作为特征提取器进行训练，在无监督设置下作为自编码器用于聚类。
• 注意力机制根据特征表示对整体序列上下文的相关性动态加权。
• TFN中的残差结构使网络可更深，同时缓解训练过程中的梯度消失问题。
• 模型在UCR2018和UEA2018数据集上，采用分类和聚类协议进行评估。

实验结果

研究问题

• RQ1 混合深度学习架构能否有效捕捉时间序列数据中的局部时间模式及其相互关系？
• RQ2 与独立模型相比，LSTM与注意力机制的集成在时间序列分类中如何提升关系建模能力？
• RQ3 RTFN在监督和无监督时间序列分类任务中，相较于现有最先进方法的性能提升程度如何？
• RQ4 所提出的架构在多样化的一元和多元时间序列数据集上是否具有良好的泛化能力？

主要发现

• 基于RTFN的监督模型在85个一元UCR2018数据集中取得了39个的最佳性能，在30个多元UEA2018数据集中取得了15个的最佳性能。
• 在20个长一元时间序列案例中，RTFN方法在11个中排名第一，表明其在长序列上具有强大的泛化能力。
• 在无监督聚类中，基于RTFN的K-means在36个UCR2018数据集上取得了第二好的标准化兰德指数（RI），在除两个数据集外的所有数据集中均优于独立的K-means。
• 由于其能够提取深层、具有代表性的特征并建模超越局部模式的复杂关系，模型性能始终更优。
• RTFN在无监督聚类中的平均排名（AVG_rank）为2.78，表明其整体排名表现强劲，仅次于DTCR。
• 消融研究证实，TFN与LSTMaN的组合至关重要，因为移除任一组件均会导致性能显著下降。