[论文解读] Representation Learning with Deconvolution for Multivariate Time Series Classification and Visualization

Zhiguang Wang, Wei Song+6 more|arXiv (Cornell University)|Oct 24, 2016

Time Series Analysis and Forecasting参考文献 18被引用 10

一句话总结

本论文提出一种结合符号聚合近似（SAX）离散化的去卷积神经网络，用于无监督多变量时间序列表征学习。通过捕捉通道间相关性并将特征转换为SAX词袋表示，该方法提升了分类准确率，并实现了将时间序列可视化为类特定的复杂网络，优于基准数据集上的基于距离的基线方法。

ABSTRACT

We propose a new model based on the deconvolutional networks and SAX discretization to learn the representation for multivariate time series. Deconvolutional networks fully exploit the advantage the powerful expressiveness of deep neural networks in the manner of unsupervised learning. We design a network structure specifically to capture the cross-channel correlation with deconvolution, forcing the pooling operation to perform the dimension reduction along each position in the individual channel. Discretization based on Symbolic Aggregate Approximation is applied on the feature vectors to further extract the bag of features. We show how this representation and bag of features helps on classification. A full comparison with the sequence distance based approach is provided to demonstrate the effectiveness of our approach on the standard datasets. We further build the Markov matrix from the discretized representation from the deconvolution to visualize the time series as complex networks, which show more class-specific statistical properties and clear structures with respect to different labels.

研究动机与目标

• 解决从大规模多变量时间序列数据中学习有效、分层表征的挑战，且无需完全监督。
• 通过捕捉多变量序列中的通道间相关性和时序依赖性，提升分类性能。
• 通过使用马尔可夫矩阵将学习到的特征转换为复杂网络，实现时间序列的可解释性可视化。
• 通过端到端特征学习，克服基于距离方法的局限性，如高计算成本和对噪声的敏感性。
• 提供一种自监督、自动化的方案，减少对手工设计特征和超参数调优的依赖。

提出的方法

• 设计了一种去卷积网络架构，从原始多变量时间序列中学习分层表征，对每个通道独立应用池化操作以保留空间结构。
• 通过卷积操作捕捉通道间相关性，在特征学习过程中建模通道间依赖关系。
• 应用符号聚合近似（SAX）将学习到的特征图离散化为符号词，形成用于分类的词袋表示。
• 将SAX词袋表示作为监督分类器的输入，提升泛化能力并降低噪声影响。
• 从离散化表示构建马尔可夫矩阵，将时间序列可视化为复杂网络，揭示类特定的拓扑结构。
• 采用贝叶斯优化高效调优超参数，包括SAX分箱数和网络架构。

实验结果

研究问题

• RQ1 去卷积网络能否在自监督方式下有效学习多变量时间序列的分层、通道间相关表征？
• RQ2 与原始特征向量相比，SAX词袋表示在分类准确率和鲁棒性方面表现如何？
• RQ3 离散化表示能否被有效可视化为复杂网络，以揭示不同类别的显著结构模式？
• RQ4 所提方法在标准多变量时间序列基准数据集上，与传统基于序列距离的方法（如ERP和TWED）相比，性能提升程度如何？
• RQ5 马尔可夫网络可视化中的统计属性（如模块度、平均路径长度）在正常与异常时间序列之间有何差异？

主要发现

• SAX词袋表示的测试误差率低于原始特征向量，在ECG数据集上测试误差为0.2，Wafer数据集上为0.035，而向量基线分别为0.13和0.011。
• 在ECG数据集上，所有四个网络统计量——平均度、模块度、PageRank指数和平均路径长度——在正常与异常类别之间均存在显著差异（p < 0.05）。
• 在Wafer数据集上，仅平均路径长度在标签间表现出显著差异，表明边权重分布不均可能影响拓扑敏感性。
• 马尔可夫网络的可视化揭示了不同的结构模式：正常ECG样本呈现圆形布局，而异常样本则呈狭长蜿蜒形态。
• Wafer正常样本表现出规则的闭合结构，而异常样本则呈现开放、贯穿边界的以及边更粗的网络结构。
• 该方法在性能上优于基于距离的基线方法，完整流程在标准基准数据集上达到了最先进水平。