[论文解读] SimPer: Simple Self-Supervised Learning of Periodic Targets

Yuzhe Yang, Xin Liu+5 more|arXiv (Cornell University)|Oct 6, 2022

Advanced Chemical Sensor Technologies被引用 20

一句话总结

SimPer 是一个简单的自监督框架，通过使用时序自对比学习、周期特征相似性，以及一个通用的连续目标损失来捕捉跨多个真实世界数据集的周期性。

ABSTRACT

From human physiology to environmental evolution, important processes in nature often exhibit meaningful and strong periodic or quasi-periodic changes. Due to their inherent label scarcity, learning useful representations for periodic tasks with limited or no supervision is of great benefit. Yet, existing self-supervised learning (SSL) methods overlook the intrinsic periodicity in data, and fail to learn representations that capture periodic or frequency attributes. In this paper, we present SimPer, a simple contrastive SSL regime for learning periodic information in data. To exploit the periodic inductive bias, SimPer introduces customized augmentations, feature similarity measures, and a generalized contrastive loss for learning efficient and robust periodic representations. Extensive experiments on common real-world tasks in human behavior analysis, environmental sensing, and healthcare domains verify the superior performance of SimPer compared to state-of-the-art SSL methods, highlighting its intriguing properties including better data efficiency, robustness to spurious correlations, and generalization to distribution shifts. Code and data are available at: https://github.com/YyzHarry/SimPer.

研究动机与目标

• 识别现有用于周期学习任务的自监督方法的局限性。
• 设计一个简单的自监督框架，利用周期性归纳偏置。
• 在多样化领域对 SimPer 进行评估，以展示其鲁棒性、效率和可迁移性。

提出的方法

• 引入周期性变体增强，从同一输入创建频率偏移的负样本。
• 使用对周期性不变的增强方法，为同一输入创建多个正视图。
• 采用周期性特征相似性度量（如 MXCorr、nPSD）来比较周期性表示。
• 将 InfoNCE 损失推广为连续目标版本（SimPer 损失），通过频率-标签相似性对成对样本进行加权。
• 使用共享编码器进行训练，并对增强视图优化 SimPer 损失。
• 在六个多样化数据集上，与最先进的自监督方法和监督学习进行基准比较。

实验结果

研究问题

• RQ1 自监督方法在无标签情况下能否有效捕捉周期性或准周期性动态？
• RQ2 对周期目标，频率感知的增强和相似性度量是否能提升学习到的表征？
• RQ3 在数据高效设置、迁移场景以及分布漂移或未见目标下，SimPer 的表现如何？

主要发现

• 在六个不同的周期性任务中，SimPer始终优于最先进的自监督方法。
• 与基线相比，SimPer 显示出更好的数据效率和对虚假相关性的鲁棒性。
• SimPer 展示了跨数据集可迁移的周期性表征，以及对未见频率的零-shot 泛化更好。
• 一个通用的、连续目标的损失在多个任务上相较于 vanilla InfoNCE 提升了性能。