[论文解读] Time-Series Classification in Smart Manufacturing Systems: An Experimental Evaluation of State-of-the-Art Machine Learning Algorithms

Mojtaba A. Farahani, Matt McCormick+2 more|arXiv (Cornell University)|Oct 4, 2023

Time Series Analysis and Forecasting参考文献 93被引用 4

一句话总结

本研究评估了智能制造系统中时间序列分类（TSC）的最先进（SOTA）机器学习与深度学习算法。基于22个多样化的制造数据集，研究识别出ResNet、DrCIF、InceptionTime和ARSENAL为表现最佳的模型，平均准确率超过96.6%，凸显了卷积核在捕捉工业时间序列数据中时间模式方面的有效性。

ABSTRACT

Manufacturing is gathering extensive amounts of diverse data, thanks to the growing number of sensors and rapid advances in sensing technologies. Among the various data types available in SMS settings, time-series data plays a pivotal role. Hence, TSC emerges is crucial in this domain. The objective of this study is to fill this gap by providing a rigorous experimental evaluation of the SoTA ML and DL algorithms for TSC tasks in manufacturing and industrial settings. We first explored and compiled a comprehensive list of more than 92 SoTA algorithms from both TSC and manufacturing literature. Following, we selected the 36 most representative algorithms from this list. To evaluate their performance across various manufacturing classification tasks, we curated a set of 22 manufacturing datasets, representative of different characteristics that cover diverse manufacturing problems. Subsequently, we implemented and evaluated the algorithms on the manufacturing benchmark datasets, and analyzed the results for each dataset. Based on the results, ResNet, DrCIF, InceptionTime, and ARSENAL are the top-performing algorithms, boasting an average accuracy of over 96.6% across all 22 manufacturing TSC datasets. These findings underscore the robustness, efficiency, scalability, and effectiveness of convolutional kernels in capturing temporal features in time-series data, as three out of the top four performing algorithms leverage these kernels for feature extraction. Additionally, LSTM, BiLSTM, and TS-LSTM algorithms deserve recognition for their effectiveness in capturing features within time-series data using RNN-based structures.

研究动机与目标

• 为解决在工业制造环境中对最先进（SoTA）时间序列分类（TSC）机器学习算法进行实证评估的空白。
• 整理并评估涵盖多样化制造数据特征的36种代表性SOTA TSC算法。
• 建立一个由22个真实世界制造时间序列数据集组成的基准数据集集合，以代表工业问题。
• 比较深度学习与传统机器学习模型在工业TSC任务中的性能、鲁棒性与可扩展性。
• 识别在工业时间序列分类中最为有效的模型架构与技术，尤其关注时间特征提取。

提出的方法

• 从近期文献中整理出92种SOTA TSC与制造特定算法的综合列表。
• 基于多样性、发表影响力及与工业应用的相关性，筛选出36种代表性算法。
• 收集并整理了22个涵盖各种工业流程与故障类型的现实世界制造时间序列数据集。
• 在所有22个数据集上，采用标准化的训练、验证与测试协议，实现并评估了全部36种算法。
• 应用一致的评估指标（包括准确率），以确保模型之间的公平比较。
• 通过消融实验与分析，识别出基于模型架构（特别是卷积与循环结构）的性能趋势。

实验结果

研究问题

• RQ1 在真实世界制造时间序列数据集上，哪些最先进机器学习与深度学习模型在分类准确率方面表现最佳？
• RQ2 在工业TSC任务中，基于卷积神经网络的模型与基于循环神经网络的模型在性能上如何比较？
• RQ3 在制造场景中，架构设计（特别是卷积核的使用）对TSC性能的相对影响是什么？
• RQ4 在长度、维度与噪声水平各不相同的各类数据集上，表现最佳的模型在鲁棒性与可扩展性方面如何？
• RQ5 哪些模型在多种工业时间序列分类问题中始终优于其他模型？

主要发现

• ResNet、DrCIF、InceptionTime与ARSENAL在全部22个制造TSC数据集上实现了超过96.6%的平均准确率，确立了其作为表现最佳模型的地位。
• 在表现最佳的四款模型中，有三款（ResNet、DrCIF、InceptionTime）依赖于卷积核，表明此类架构在从工业时间序列数据中提取有意义的时间特征方面具有显著优势。
• LSTM、BiLSTM与TS-LSTM模型表现出色，证实了循环架构在建模时间序列数据中序列依赖关系方面的有效性。
• 研究结果表明，模型性能高度依赖于数据特征，卷积模型在各类工业数据类型中展现出更强的鲁棒性。
• ARSENAL作为一种深度集成方法，通过聚合多个估计器的预测结果实现了高准确率，凸显了集成学习在工业TSC中的价值。
• 结果表明，架构选择对性能有显著影响，卷积模型在大多数情况下优于循环模型，尤其在准确率与可扩展性方面。