[论文解读] Robust Augmentation for Multivariate Time Series Classification

Hong Yang, Travis Desell|arXiv (Cornell University)|Jan 27, 2022

Time Series Analysis and Forecasting被引用 6

一句话总结

本文提出了一种基于裁剪（cutout）、混合切割（cutmix）、混合插值（mixup）和窗口变形（window warp）的鲁棒数据增强框架，以提升深度神经网络在多元时间序列分类任务中的性能。该方法在26个UEA MTSC数据集上应用，显著减少了过拟合现象并提升了准确率，尤其在InceptionTime等模型上表现突出，在15个数据集中达到当前最优性能，Ethanol Concentration数据集上的准确率提升高达48%。

ABSTRACT

Neural networks are capable of learning powerful representations of data, but they are susceptible to overfitting due to the number of parameters. This is particularly challenging in the domain of time series classification, where datasets may contain fewer than 100 training examples. In this paper, we show that the simple methods of cutout, cutmix, mixup, and window warp improve the robustness and overall performance in a statistically significant way for convolutional, recurrent, and self-attention based architectures for time series classification. We evaluate these methods on 26 datasets from the University of East Anglia Multivariate Time Series Classification (UEA MTSC) archive and analyze how these methods perform on different types of time series data.. We show that the InceptionTime network with augmentation improves accuracy by 1% to 45% in 18 different datasets compared to without augmentation. We also show that augmentation improves accuracy for recurrent and self attention based architectures.

研究动机与目标

• 解决多元时间序列分类中深度学习模型的过拟合问题，尤其在训练样本少于100例的数据集中。
• 评估基础数据增强技术（包括cutout、cutmix、mixup和window warp）在多样化多元时间序列数据集上的有效性。
• 证明这些增强方法在卷积、循环和自注意力机制模型中均能显著提升性能。
• 提供实证证据表明，经过适当增强后，深度学习模型可超越非深度学习的最先进方法，减少模型比较研究中的偏差。
• 通过发布代码和Google Colab笔记本，确保实验的可复现性。

提出的方法

• 在模型训练前，对多元时间序列数据应用四种基础数据增强技术：cutout、cutmix、mixup和window warp。
• 使用与TPU兼容的操作实现增强，以确保训练时间开销最小。
• 训练并评估三种深度学习架构：InceptionTime、基于LSTM的循环网络以及基于自注意力机制的Transformer模型。
• 在来自UEA MTSC数据集档案的26个多元时间序列数据集上采用5折交叉验证，以确保性能评估的稳健性。
• 通过网格搜索优化增强超参数，并为每个数据集报告表现最佳的组合。
• 比较启用与未启用增强的最终模型准确率，并与Ruiz等人（2021）报告的最先进结果进行对比。

实验结果

研究问题

• RQ1 像cutout、cutmix、mixup和window warp这样的基础数据增强技术是否能提升深度学习模型在多元时间序列分类任务中的泛化能力和准确率？
• RQ2 当训练数据极度有限（如少于100个样本）时，这些增强方法是否能有效减少深度神经网络的过拟合？
• RQ3 这些增强效果是否在不同架构中均有效，包括卷积网络、循环网络和自注意力机制模型？
• RQ4 经过增强的深度学习模型是否能在标准基准上超越非深度学习的最先进方法（如ROCKET、CIF和HIVE-COTE）？
• RQ5 不同类型的多元时间序列数据中，增强效果如何变化？性能差异的成因是什么？

主要发现

• 在UEA MTSC数据集档案的26个数据集中的15个上，采用数据增强的InceptionTime模型达到了最先进准确率，超越或匹配了Ruiz等人（2021）报告的最佳结果。
• 在Ethanol Concentration数据集中，准确率从33%提升至81%，相对提升达48%。
• Cutmix、mixup和window warp在所有三种测试的深度学习架构（卷积、循环和自注意力机制模型）中均持续提升了性能。
• 与未增强训练相比，增强方法在26个数据集中的18个上带来了统计上显著的准确率提升。
• 在小样本数据集上，增强方法尤其有效，显著缓解了深度网络通常因缺乏正则化而产生的过拟合问题。
• 作者证明，增强技术可以弥合深度学习与非深度学习方法之间的性能差距，使深度学习在小规模多元时间序列任务中更具可行性。