[论文解读] Self-Supervised Time Series Representation Learning by Inter-Intra Relational Reasoning

Haoyi Fan, Fengbin Zhang+1 more|arXiv (Cornell University)|Nov 27, 2020

Time Series Analysis and Forecasting参考文献 52被引用 23

一句话总结

SelfTime 提出了一种自监督时间序列表征学习框架，通过联合建模样本间关系与时间内关系，捕捉全局与局部结构模式。通过在采样的正样本/负样本上进行关系推理，并结合多尺度时间片段关系，该方法在多个时间序列分类基准上实现了最先进性能，在迁移学习设置下相比先前方法最高提升20.2%。

ABSTRACT

Self-supervised learning achieves superior performance in many domains by extracting useful representations from the unlabeled data. However, most of traditional self-supervised methods mainly focus on exploring the inter-sample structure while less efforts have been concentrated on the underlying intra-temporal structure, which is important for time series data. In this paper, we present SelfTime: a general self-supervised time series representation learning framework, by exploring the inter-sample relation and intra-temporal relation of time series to learn the underlying structure feature on the unlabeled time series. Specifically, we first generate the inter-sample relation by sampling positive and negative samples of a given anchor sample, and intra-temporal relation by sampling time pieces from this anchor. Then, based on the sampled relation, a shared feature extraction backbone combined with two separate relation reasoning heads are employed to quantify the relationships of the sample pairs for inter-sample relation reasoning, and the relationships of the time piece pairs for intra-temporal relation reasoning, respectively. Finally, the useful representations of time series are extracted from the backbone under the supervision of relation reasoning heads. Experimental results on multiple real-world time series datasets for time series classification task demonstrate the effectiveness of the proposed method. Code and data are publicly available at https://haoyfan.github.io/.

研究动机与目标

• 为解决现有自监督方法主要关注样本间结构而忽略时间序列中时间内依赖关系的局限性。
• 开发一种可泛化的框架，以捕捉无标签时间序列中的全局样本级与局部时间级结构模式。
• 通过设计推理多层级关系结构的掩码任务，提升表征学习性能。
• 在多样化的现实世界时间序列数据集上，评估所学表征的迁移性与鲁棒性。

提出的方法

• 该框架使用共享主干网络提取时间序列输入及其增强视图的特征。
• 通过相对于给定锚点采样正样本（增强视图）和负样本（远距离样本），建模样本间关系。
• 通过从同一锚点中采样时间片段段，并基于时间距离构建多尺度时间关系，捕捉时间内关系。
• 使用两个专用的关系推理头：一个用于量化样本间相似性，另一个用于时间内时间模式推理。
• 采用对比损失端到端训练模型，以优化关系预测，表征从共享主干网络中提取。
• 采用多尺度时间关系采样策略，实现对短、中、长时程时间依赖关系的建模。

实验结果

研究问题

• RQ1 同时建模样本间与时间内关系是否能提升自监督时间序列表征学习？
• RQ2 引入多尺度时间关系如何影响所学表征的质量？
• RQ3 所提出方法是否能在多样化的时间序列领域中泛化，并优于现有的自监督基线方法？
• RQ4 所学表征在有限标注数据的下游分类任务中，其迁移能力达到何种程度？
• RQ5 不同的数据增强策略与关系采样策略对最终性能有何影响？

主要发现

• SelfTime 在多个时间序列分类基准上实现了新的最先进性能，优于现有的自监督方法。
• 在 IWS → DLD 迁移任务中，SelfTime 相较 Deep InfoMax 提升 20.2%，相较 Relation 提升 6.81%。
• 在 UGLA → CricketX 迁移设置中，SelfTime 相较 Relation 提升 4.73%，相较 Deep InfoMax 提升 9.06%。
• t-SNE 可视化结果表明，SelfTime 学习到的表征比基线方法更具语义一致性且聚类更紧密。
• 该方法展现出强大的迁移能力，在所有评估的源-目标领域迁移场景中均保持一致的性能提升。
• 消融研究证实，样本间与时间内关系推理均对性能有显著贡献，其中后者在捕捉局部时间模式方面尤为有效。