[论文解读] Time Series Classification from Scratch with Deep Neural Networks: A Strong Baseline

Zhiguang Wang, Weizhong Yan+1 more|arXiv (Cornell University)|Nov 20, 2016

Time Series Analysis and Forecasting参考文献 12被引用 47

一句话总结

本文提出了一种简单但极为有效的端到端深度学习基线方法，用于时间序列分类，直接在原始数据上进行纯端到端训练。全连接卷积网络（FCN）和残差网络（ResNet）架构在44个UCR基准数据集上实现了最先进性能，无需任何特征工程或预处理，其中FCN优于先前的方法（包括COTE和MCNN）。

ABSTRACT

We propose a simple but strong baseline for time series classification from scratch with deep neural networks. Our proposed baseline models are pure end-to-end without any heavy preprocessing on the raw data or feature crafting. The proposed Fully Convolutional Network (FCN) achieves premium performance to other state-of-the-art approaches and our exploration of the very deep neural networks with the ResNet structure is also competitive. The global average pooling in our convolutional model enables the exploitation of the Class Activation Map (CAM) to find out the contributing region in the raw data for the specific labels. Our models provides a simple choice for the real world application and a good starting point for the future research. An overall analysis is provided to discuss the generalization capability of our models, learned features, network structures and the classification semantics.

研究动机与目标

• 建立一个简单、稳健且有效的端到端深度学习基线，用于时间序列分类，直接在原始数据上运行。
• 以端到端方式评估全连接卷积网络（FCN）、残差网络（ResNet）和多层感知机（MLP）在无数据预处理或特征工程下的性能。
• 分析深度神经网络在时间序列分类中的泛化能力、学习到的特征、网络结构和分类语义。
• 为实际应用提供一个可部署的基线，并为未来时间序列分类研究提供强有力的起点。

提出的方法

• 所提出的方法使用一个全连接卷积网络（FCN），包含三个卷积模块，每个模块由一维卷积层、批归一化、ReLU激活函数和Dropout正则化组成。
• 在最后一个卷积层之后应用全局平均池化，以减少空间维度，并支持类激活图（CAM）可视化，提升模型可解释性。
• 通过残差块实现ResNet，以支持更深网络的训练，改善梯度流动并提升在复杂时间序列上的泛化能力。
• MLP基线采用三个全连接层，激活函数为ReLU，配合Dropout进行正则化，作为简单但有效的基线。
• 所有模型均在原始时间序列数据上进行端到端训练，不使用任何数据增强、窗口划分或特征提取。
• 性能通过平均成对分类误差（MPCE）进行评估，这是一种在多个数据集间比较模型的稳健指标，统计显著性通过配对t检验和Wilcoxon符号秩检验评估。

实验结果

研究问题

• RQ1 一个简单、端到端的深度神经网络是否能在无需任何特征工程或数据预处理的情况下，实现时间序列分类的最先进性能？
• RQ2 FCN、ResNet和MLP学习到的表征和分类行为与COTE、BOSS和MCNN等成熟方法相比如何？
• RQ3 全局平均池化在多大程度上通过类激活图（CAM）实现时间序列分类的可解释性？
• RQ4 这些深度学习模型在多样化的现实世界时间序列数据集上的泛化能力如何，尤其与传统基于距离和基于特征的基线相比？
• RQ5 不同网络架构（MLP、FCN、ResNet）在分类语义和特征空间组织方面有何差异？

主要发现

• FCN在44个UCR基准数据集上的表现优于最先进方法（如COTE和MCNN），Wilcoxon符号秩检验的p值为0.8445，表明与COTE无显著差异，但平均MPCE更低，表现更优。
• ResNet模型表现具有竞争力，尽管略低于FCN，与COTE相比的Wilcoxon检验p值为0.8347，表明性能相当。
• MLP基线与长期作为黄金标准的1-最近邻动态时间规整（1NN-DTW）表现相似，p值为0.7575，表明无显著差异。
• FCN和ResNet模型在主成分分析（PCA）降维后的特征空间中聚类紧密，表明其学习到的表征相似；而MLP则孤立存在，暗示其具有不同的分类语义。
• 使用全局平均池化可实现类激活图（CAM）可视化，从而识别出每种类别在原始时间序列中具有判别性的时序区域，显著提升模型可解释性。
• MPCE指标提供了一个稳健、无偏的多模型多数据集比较框架，表明FCN和ResNet泛化能力出色，并可与现有方法形成良好互补。