[论文解读] Out-of-Distribution Representation Learning for Time Series Classification

Lu Wang, Jindong Wang+3 more|arXiv (Cornell University)|Sep 15, 2022

Time Series Analysis and Forecasting被引用 11

一句话总结

本文提出 Diversify，一种新颖的时序分类分布外（OOD）表征学习框架，通过对抗性极小-极大训练过程识别潜在子分布。通过在学习到的子域之间最大化分布差距，同时最小化其差异，Diversify 在七个多样化的时序数据集上实现了最先进的 OOD 泛化性能，尤其在数据稀缺、高度可变的挑战性设置下显著优于现有基线方法。

ABSTRACT

Time series classification is an important problem in real world. Due to its non-stationary property that the distribution changes over time, it remains challenging to build models for generalization to unseen distributions. In this paper, we propose to view the time series classification problem from the distribution perspective. We argue that the temporal complexity attributes to the unknown latent distributions within. To this end, we propose DIVERSIFY to learn generalized representations for time series classification. DIVERSIFY takes an iterative process: it first obtains the worst-case distribution scenario via adversarial training, then matches the distributions of the obtained sub-domains. We also present some theoretical insights. We conduct experiments on gesture recognition, speech commands recognition, wearable stress and affect detection, and sensor-based human activity recognition with a total of seven datasets in different settings. Results demonstrate that DIVERSIFY significantly outperforms other baselines and effectively characterizes the latent distributions by qualitative and quantitative analysis. Code is available at: https://github.com/microsoft/robustlearn.

研究动机与目标

• 解决时序分类中因数据分布随时间动态变化而导致的分布外（OOD）泛化挑战。
• 克服现有 OOD 方法依赖已知领域标签的局限性，而此类标签在时序数据中通常不可用。
• 通过识别和表征单个时序数据集中未知的潜在分布，学习泛化表征。
• 开发一种无需显式领域标注的自监督、端到端可训练框架。
• 通过显式建模时序数据内部的分布变化，提升模型在未见分布上的鲁棒性。

提出的方法

• 将时序 OOD 学习建模为极小-极大对抗博弈：在最大化潜在子域间分布差距（最坏情况）的同时，最小化其内部差异。
• 引入伪领域分类标签和对抗性自监督伪标签，以在无真实领域标签的情况下学习潜在子分布。
• 采用双流架构，其中一路通过对抗训练识别子分布，另一路学习领域不变表征。
• 应用分布差异损失（如 MMD 或 DANN 风格）以对齐所识别子域间的表征。
• 采用滑动窗口技术，将原始时序数据转换为固定大小的输入实例以供模型处理。
• 使用交叉熵损失进行分类与分布正则化损失结合，端到端训练模型。

实验结果

研究问题

• RQ1 即使来自单一主体，单个时序数据集中是否可能存在潜在子分布？这些子分布能否在无领域标签的情况下被有效识别？
• RQ2 一种最大化最坏情况分布差距、同时最小化差异的对抗性极小-极大训练策略，是否能提升时序数据的 OOD 泛化性能？
• RQ3 在具有未知分布变化的多样化时序基准上，Diversify 相较于现有领域泛化与 OOD 方法表现如何？
• RQ4 Diversify 是否能在不同模型架构间泛化，并在数据稀缺与高分布多样性条件下保持鲁棒性？
• RQ5 从分布鲁棒性与表征学习的角度，Diversify 的设计具有何种理论依据？

主要发现

• Diversify 在七个多样化时序数据集（包括手势识别、语音命令、可穿戴压力检测和人类活动识别）上显著优于所有基线方法。
• 该方法在多种主干网络架构（包括 CNN 和 Transformer）上均实现一致的 OOD 性能提升，证明其架构鲁棒性。
• 即使单人时序数据中也包含多个潜在分布，Diversify 能成功识别并利用这些分布以提升泛化能力。
• 定量结果表明，Diversify 在分布外测试集上的准确率高于当前最先进方法，尤其在低数据量和高多样性场景下优势显著。
• 消融研究证实，对抗性极小-极大机制对性能至关重要，其中最坏情况分布最大化在提升鲁棒性方面起关键作用。
• 定性分析表明，即使无真实领域标签，Diversify 也能有效将数据聚类为有意义的子分布，如潜在分布分割的可视化所示。