[论文解读] Unsupervised Representation Learning for Time Series with Temporal Neighborhood Coding

Sana Tonekaboni, Danny Eytan+1 more|arXiv (Cornell University)|Jun 1, 2021

Time Series Analysis and Forecasting参考文献 40被引用 104

一句话总结

介绍 Temporal Neighborhood Coding (TNC)，是一种自监督框架，通过对比相邻窗口与非相邻窗口并使用 PU 加权损失，学习可迁移的非平稳多变量时间序列表征。

ABSTRACT

Time series are often complex and rich in information but sparsely labeled and therefore challenging to model. In this paper, we propose a self-supervised framework for learning generalizable representations for non-stationary time series. Our approach, called Temporal Neighborhood Coding (TNC), takes advantage of the local smoothness of a signal's generative process to define neighborhoods in time with stationary properties. Using a debiased contrastive objective, our framework learns time series representations by ensuring that in the encoding space, the distribution of signals from within a neighborhood is distinguishable from the distribution of non-neighboring signals. Our motivation stems from the medical field, where the ability to model the dynamic nature of time series data is especially valuable for identifying, tracking, and predicting the underlying patients' latent states in settings where labeling data is practically impossible. We compare our method to recently developed unsupervised representation learning approaches and demonstrate superior performance on clustering and classification tasks for multiple datasets.

研究动机与目标

• 推动对复杂、标注稀少的时间序列的无监督表示学习，特别是在医疗领域。
• 用具有平稳性质的时间邻域来捕捉非平稳动力学。
• 开发去偏对比目标，结合基于 PU 学习的加权来处理负样本采样偏差。
• 证明 TNC 表示在任务和数据集之间具有泛化性和可迁移性。

提出的方法

• 将时间序列表示为 X ∈ R^{D x T}，并定义长度为 delta 的窗 W_t。
• 将时间邻域 N_t 定义为质心 t* ~ N(t, eta * delta) 的窗，并通过 Augmented Dickey-Fuller 检验估计 eta。
• 使用编码器 Enc 将 W_t 映射到 Z_t，判别器 D(Z_t, Z) 判断两个表示是否来自同一邻域。
• 训练时使用去偏对比损失，使 Z_t 与邻居更相近、与非邻居更远，并对非邻居应用 PU 权重 w_t。
• 通过将非邻居视为未标签样本并结合正权重和负权重来处理采样偏差（PU 学习）。
• 该框架对编码器架构无关，可使用简单的 RNN 或基于 CNN 的编码器；判别器是一个轻量级的二分类器。

实验结果

研究问题

• RQ1 Temporal Neighborhood Coding 能否学习在非平稳时间序列中区分时间上邻近的窗口与较远窗口的表征？
• RQ2 TNC 表征是否按潜在状态聚类并支持下游任务，如在不同数据集上的聚类和分类？
• RQ3 与 CPC 和带 PU 加权的 Triplet-Loss 相比，在聚类质量和分类性能方面，TNC 的表现如何？
• RQ4 是否可以使用稳定性检验（ADF）自动为每个窗口自适应邻域大小，以在信息量和状态变化之间取得平衡？

主要发现

• 与 CPC、Triplet-Loss 和 K-means 基线相比，TNC 在模拟、ECG 波形和 HAR 数据集上具有更高的聚类质量（Silhouette 较高、DBI 较低）。
• TNC 的分类性能接近有监督模型，在多个数据集上，AUPRC 和准确率显著高于 CPC 和 Triplet-Loss。
• TNC 表征揭示了在状态转换处发生变化的清晰轨迹，在潜在空间中捕捉非平稳动力学。
• 通过 ADF 估计的时间邻域使每个窗口的邻域宽度自适应，平衡信息量与状态变化。