[论文解读] VIbCReg: Variance-Invariance-better-Covariance Regularization for Self-Supervised Learning on Time Series

Dae-Soo Lee, Erlend Aune|arXiv (Cornell University)|Sep 2, 2021

Anomaly Detection Techniques and Applications参考文献 32被引用 4

一句话总结

该论文提出 VIbCReg，一种用于自监督时间序列表征学习的方差不变性-更优协方差正则化方法。通过改进 VICReg 的协方差项并引入投影头中的 IterNorm 层，VIbCReg 加速了收敛速度，并在 UCR 数据集和 PTB-XL 心电图数据集的线性评估与微调基准上实现了最先进性能。

ABSTRACT

Self-supervised learning for image representations has recently had many breakthroughs with respect to linear evaluation and fine-tuning evaluation. These approaches rely on both cleverly crafted loss functions and training setups to avoid the feature collapse problem. In this paper, we improve on the recently proposed VICReg paper, which introduced a loss function that does not rely on specialized training loops to converge to useful representations. Our method improves on a covariance term proposed in VICReg, and in addition we augment the head of the architecture by an IterNorm layer that greatly accelerates convergence of the model. Our model achieves superior performance on linear evaluation and fine-tuning evaluation on a subset of the UCR time series classification archive and the PTB-XL ECG dataset.

研究动机与目标

• 为解决自监督时间序列表征学习中的特征坍缩问题，且不依赖复杂的训练循环。
• 通过优化 VICReg 方法的协方差正则化项，以提升特征多样性与不变性。
• 通过在投影头中引入 IterNorm 层，实现架构增强，从而加速模型收敛。
• 在标准时间序列基准上实现更优的线性评估与微调性能。

提出的方法

• 该方法引入一种改进的协方差正则化项，以增强自监督对比学习中的特征方差与不变性。
• 在投影头中引入 IterNorm 层，以稳定并加速训练动态。
• 损失函数保留 VICReg 的核心对比目标，但优化了方差、不变性与协方差项之间的平衡。
• 采用标准数据增强方式端到端训练，避免使用特殊训练协议。
• 通过线性探测与微调协议评估模型表征质量。

实验结果

研究问题

• RQ1 改进的协方差正则化项是否能提升自监督时间序列学习中的表征质量？
• RQ2 引入 IterNorm 层是否能显著加速时间序列自监督学习中的收敛？
• RQ3 在时间序列基准上，VIbCReg 与 VICReg 在线性评估与微调性能上表现如何？
• RQ4 该方法能否在 UCR 和 PTB-XL 等多样化时间序列数据集上实现良好泛化？

主要发现

• VIbCReg 在 UCR 时间序列分类数据集档案的线性评估与微调基准上实现了最先进性能。
• 由于引入了 IterNorm 层，该方法相比基线方法展现出更快的收敛速度。
• 改进的协方差正则化使特征表示更加鲁棒且多样化。
• 在下游评估任务中，VIbCReg 在 UCR 与 PTB-XL 心电图数据集上均优于 VICReg。