[论文解读] Rethinking 1D-CNN for Time Series Classification: A Stronger Baseline.

Wensi Tang, Guodong Long+4 more|arXiv (Cornell University)|Feb 24, 2020

Time Series Analysis and Forecasting参考文献 26被引用 95

一句话总结

本文提出了一种新型的全尺度一维卷积神经网络（OS-CNN），该网络能够动态学习时间序列分类任务中的最优卷积核大小，而无需进行网格搜索。通过战略性地配置一组少量的卷积核大小以覆盖多样的感受野，OS-CNN 在 85 个 UCR 数据集上实现了卓越的性能，其在准确率、胜场数以及统计显著性方面均优于现有的 1D-CNN 基线模型。

ABSTRACT

For time series classification task using 1D-CNN, the selection of kernel size is critically important to ensure the model can capture the right scale salient signal from a long time-series. Most of the existing work on 1D-CNN treats the kernel size as a hyper-parameter and tries to find the proper kernel size through a grid search which is time-consuming and is inefficient. This paper theoretically analyses how kernel size impacts the performance of 1D-CNN. Considering the importance of kernel size, we propose a novel Omni-Scale 1D-CNN (OS-CNN) architecture to capture the proper kernel size during the model learning period. A specific design for kernel size configuration is developed which enables us to assemble very few kernel-size options to represent more receptive fields. The proposed OS-CNN method is evaluated using the UCR archive with 85 datasets. The experiment results demonstrate that our method is a stronger baseline in multiple performance indicators, including the critical difference diagram, counts of wins, and average accuracy. We also published the experimental source codes at GitHub (this https URL).

研究动机与目标

• 解决在时间序列分类任务中，使用 1D-CNN 时因卷积核大小选择采用网格搜索所导致的效率低下与性能不佳问题。
• 理论上分析卷积核大小对 1D-CNN 在捕捉关键时间模式方面的影响。
• 开发一种新型网络架构，使 1D-CNN 能够在训练过程中自动学习最优的感受野尺度，从而减少对人工超参数调优的依赖。
• 通过智能的卷积核大小配置提升模型容量，建立更强的 1D-CNN 基线模型，用于时间序列分类任务。

提出的方法

• 提出一种新型的全尺度一维卷积神经网络（OS-CNN）架构，将多种卷积核大小整合于单一统一的卷积模块中。
• 设计一种特定的卷积核大小配置策略，仅使用一组经过精心挑选的最小数量卷积核大小，以覆盖广泛的感受野范围。
• 将多尺度卷积核整合到单个卷积层中，以支持端到端学习最相关的感受野尺度。
• 通过在不同卷积核大小之间共享特征图，实现在提升表征能力的同时保持计算效率。
• 采用标准优化方法进行端到端训练，使网络能够自动学习每种时间序列模式对应的最有效卷积核大小。
• 在完整的 UCR 时间序列数据集（共 85 个数据集）上评估模型，使用标准指标包括准确率、关键差异图以及胜场数。

实验结果

研究问题

• RQ1 卷积核大小的选择如何影响 1D-CNN 在时间序列分类任务中的性能？
• RQ2 1D-CNN 模型是否能够在训练过程中动态学习最优卷积核大小，而无需依赖网格搜索？
• RQ3 为有效覆盖时间序列数据中多样的感受野，所需的最小卷积核大小集合是什么？
• RQ4 所提出的 OS-CNN 架构在多种时间序列数据集上的准确率与鲁棒性方面，相较于标准 1D-CNN 基线模型表现如何？
• RQ5 所提出的方法是否可作为时间序列分类任务中比现有 1D-CNN 方法更强的基线模型？

主要发现

• OS-CNN 在 85 个 UCR 数据集上的平均准确率高于现有的 1D-CNN 基线模型。
• 在 UCR 基准数据集的成对比较中，所提方法记录的胜场数多于基线模型。
• OS-CNN 在关键差异图中表现出更优性能，表明其相对于标准 1D-CNN 具有统计显著优势。
• 模型在多种时间序列数据上表现稳健，证实了所设计的卷积核大小配置策略的有效性。
• 该方法通过端到端学习最优卷积核大小，减少了耗时的网格搜索需求，从而提升了训练效率。
• 源代码已公开发布于 GitHub，支持可复现性与进一步基准测试。