[论文解读] Towards Sleep Scoring Generalization Through Self-Supervised Meta-Learning

Abdelhak Lemkhenter, Paolo Favaro|arXiv (Cornell University)|Jul 27, 2022

Obstructive Sleep Apnea Research被引用 5

一句话总结

本文提出S2MAML，一种自监督元学习框架，通过将自监督预训练整合到模型无关元学习（MAML）范式中，提升了自动睡眠分期中零样本泛化能力。该方法在多个数据集上显著优于MAML和监督学习，通过一种通用的伪任务减少对个体特异性模式的过拟合，实现了最先进的零样本性能。

ABSTRACT

In this work we introduce a novel meta-learning method for sleep scoring based on self-supervised learning. Our approach aims at building models for sleep scoring that can generalize across different patients and recording facilities, but do not require a further adaptation step to the target data. Towards this goal, we build our method on top of the Model Agnostic Meta-Learning (MAML) framework by incorporating a self-supervised learning (SSL) stage, and call it S2MAML. We show that S2MAML can significantly outperform MAML. The gain in performance comes from the SSL stage, which we base on a general purpose pseudo-task that limits the overfitting to the subject-specific patterns present in the training dataset. We show that S2MAML outperforms standard supervised learning and MAML on the SC, ST, ISRUC, UCD and CAP datasets.

研究动机与目标

• 为解决自动睡眠分期模型在新患者和新记录机构中泛化能力差的关键挑战。
• 消除在新数据上部署模型时对微调或额外标注的需求，实现真正的零样本部署。
• 减少对个体特异性和数据集特异性信号模式的过拟合，从而在迁移学习场景中提升性能。
• 开发一种与任何主干模型兼容的训练方案，而不仅限于特定架构。
• 证明在元学习中引入自监督预训练可提升在睡眠分期任务中的鲁棒性和泛化能力。

提出的方法

• 将自监督学习（SSL）整合到MAML框架中，提出一种新方法S2MAML（自监督元学习）。
• 在MAML的内循环中使用一种通用的伪任务——PhaseSwap，对无标签数据进行预训练，以减少对个体特异性特征的过拟合。
• 采用MAML优化过程，其元损失结合了SSL预训练和监督微调，通过超参数λin平衡两者。
• 在多个数据集上训练模型，利用元优化学习初始化参数，使其在未见个体和数据集上具有良好泛化能力。
• 采用标准的睡眠分期主干网络（DeepSleepNet-Lite），并将S2MAML应用于其特征提取器，以提升泛化性能。
• 在五个公开数据集（ISRUC、SC、ST、CAP、UCD）上进行五折交叉验证，评估在未见个体和数据集上的零样本性能。

实验结果

研究问题

• RQ1 自监督学习能否提升元学习模型在新个体和新数据集上的零样本泛化能力？
• RQ2 在MAML的内循环中引入通用伪任务是否能减少对个体特异性信号模式的过拟合？
• RQ3 S2MAML在未见数据上的性能与标准监督学习和MAML相比如何？
• RQ4 所提出的方法对超参数选择是否具有鲁棒性，特别是控制内循环中SSL与监督学习平衡的λin？
• RQ5 S2MAML能否在无需进一步适应或标注的情况下实现零样本睡眠分期的最先进性能？

主要发现

• 在所有数据集上，S2MAML在未见个体上的平均F1得分为65.9%，显著优于MAML（27.2%）和监督学习（29.4%），在3 vs 5交叉验证设置下表现更优。
• 在未见数据集上，S2MAML在CAP上取得60.0%的F1，在ST上取得70.2%，在ISRUC上取得67.4%，显著优于MAML和监督基线。
• 当λin = 10^-3时，MAML性能急剧下降，未见个体上的F1降至13.2%，而S2MAML在不同λin值下保持稳定，表现出更强的鲁棒性。
• S2MAML在已见个体（71.0%平均F1）和未见个体（65.9%平均F1）上均保持高性能，表明其对个体内和跨数据集差异具有强大泛化能力。
• 在内循环中使用PhaseSwap作为自监督任务，有效减少了对个体特异性特征的过拟合，表现为未见数据上性能的提升。
• S2MAML在所有评估数据集上均实现了最先进的零样本性能，证明其在无需进一步适应的真实部署场景中具有高度有效性。