[论文解读] Multivariate Time Series Classification with WEASEL+MUSE

Patrick Schäfer, Ulf Leser|arXiv (Cornell University)|Nov 30, 2017

Time Series Analysis and Forecasting参考文献 19被引用 71

一句话总结

WEASEL+MUSE 是一种领域无关的 MTSC 方法，它从每个维度的滑动窗口构建多变量特征向量，使用符号傅里叶特征、特征选择和逻辑回归，在 20 个 MTS 数据集上达到最先进的准确率并具有强鲁棒性。

ABSTRACT

Multivariate time series (MTS) arise when multiple interconnected sensors record data over time. Dealing with this high-dimensional data is challenging for every classifier for at least two aspects: First, an MTS is not only characterized by individual feature values, but also by the interplay of features in different dimensions. Second, this typically adds large amounts of irrelevant data and noise. We present our novel MTS classifier WEASEL+MUSE which addresses both challenges. WEASEL+MUSE builds a multivariate feature vector, first using a sliding-window approach applied to each dimension of the MTS, then extracts discrete features per window and dimension. The feature vector is subsequently fed through feature selection, removing non-discriminative features, and analysed by a machine learning classifier. The novelty of WEASEL+MUSE lies in its specific way of extracting and filtering multivariate features from MTS by encoding context information into each feature. Still the resulting feature set is small, yet very discriminative and useful for MTS classification. Based on a popular benchmark of 20 MTS datasets, we found that WEASEL+MUSE is among the most accurate classifiers, when compared to the state of the art. The outstanding robustness of WEASEL+MUSE is further confirmed based on motion gesture recognition data, where it out-of-the-box achieved similar accuracies as domain-specific methods.

研究动机与目标

• 通过捕捉维度间的相互作用和相位不变模式，解决 MTSC 的挑战。
• 基于模式袋（bag-of-patterns）原理，开发一个可扩展的、领域无关的 MTSC 方法。
• 纳入维度标识符、导数和对噪声鲁棒的符号特征，以提升准确性。
• 进行特征选择和加权，生成紧凑而高度具有判别性的特征集。

提出的方法

• 将 WEASEL 扩展到多变量设定，通过将维度和窗口标识符连接成词。
• 对每个维度的窗口应用 Symbolic Fourier Approximation (SFA)，以创建 unigram 和 bigram。
• 纳入导数（第一差分）以捕捉形状信息。
• 使用 Chi-squared 检验进行特征选择，以剔除判别力不足的特征。
• 在得到的稀疏特征向量上训练逻辑回归分类器，逐类权重学习以捕捉维度间的相互作用。

实验结果

研究问题

• RQ1 具有维度标识符和导数的 WEASEL 风格符号特征是否能在跨领域上提升 MTSC 的准确性？
• RQ2 显式的特征选择和加权是否有助于管理 MTSC 的高维特征空间？
• RQ3 相对于公共基准数据集和真实世界数据，WEASEL+MUSE 的表现相比其他最先进的 MTSC 方法如何？
• RQ4 该方法对噪声是否鲁棒并且在小训练集上是否有效？
• RQ5 维度间特征相互作用在多大程度上影响分类性能？

主要发现

• WEASEL+MUSE 是在 20 个公开数据集中最具准确性之一的 MTSC 方法。
• 它实现了与 MLSTM-FCN 相近的平均准确率（~93.5%），在小数据集上也表现出色。
• 维度标识符和导数通过捕捉维度间相互作用和形状信息来提升准确性。
• Chi-squared 特征选择产生紧凑且具有判别性的特征集，使得线性时间内训练快速完成。
• 相较于基于 DTW 的基线，该方法对高斯噪声具有鲁棒性。
• 在运动捕捉数据上，WEASEL+MUSE 现成即可与领域特定方法相匹配。