[论文解读] SleepFM: Multi-modal Representation Learning for Sleep Across Brain Activity, ECG and Respiratory Signals

Rahul Thapa, Bryan He+5 more|arXiv (Cornell University)|May 28, 2024

EEG and Brain-Computer Interfaces被引用 4

一句话总结

SleepFM 是一种多模态基础模型，通过在超过 100,000 小时的去标识化多导睡眠图数据（来自 14,000 名参与者）上采用一种新颖的留一法对比学习方法，从脑电图（EEG）、心电图（ECG）和呼吸信号中学习联合表征。其在睡眠阶段分类（AUROC 0.88 vs. 0.72）和睡眠呼吸暂停低通气综合征检测（AUROC 0.85 vs. 0.69）任务中均优于端到端卷积神经网络，展现出强大的泛化能力和跨模态检索性能。

ABSTRACT

Sleep is a complex physiological process evaluated through various modalities recording electrical brain, cardiac, and respiratory activities. We curate a large polysomnography dataset from over 14,000 participants comprising over 100,000 hours of multi-modal sleep recordings. Leveraging this extensive dataset, we developed SleepFM, the first multi-modal foundation model for sleep analysis. We show that a novel leave-one-out approach for contrastive learning significantly improves downstream task performance compared to representations from standard pairwise contrastive learning. A logistic regression model trained on SleepFM's learned embeddings outperforms an end-to-end trained convolutional neural network (CNN) on sleep stage classification (macro AUROC 0.88 vs 0.72 and macro AUPRC 0.72 vs 0.48) and sleep disordered breathing detection (AUROC 0.85 vs 0.69 and AUPRC 0.77 vs 0.61). Notably, the learned embeddings achieve 48% top-1 average accuracy in retrieving the corresponding recording clips of other modalities from 90,000 candidates. This work demonstrates the value of holistic multi-modal sleep modeling to fully capture the richness of sleep recordings. SleepFM is open source and available at https://github.com/rthapa84/sleepfm-codebase.

研究动机与目标

• 开发一种整合脑活动、ECG 和呼吸信号的多模态基础模型，以捕捉整体生理动态。
• 通过引入一种新颖的留一法对比学习框架，改进睡眠数据中的表征学习，从而提升下游任务性能。
• 证明所学表征在不同临床机构和数据采集协议下的泛化能力。
• 利用大规模、去标识化的多导睡眠图数据，建立自监督多模态学习在睡眠医学中的基准。
• 通过开源代码发布和确保医疗人工智能的伦理标准，提升模型的临床可及性。

提出的方法

• 使用一种新颖的留一法对比学习目标进行模型预训练，即每次屏蔽一种模态，以促进跨模态对齐和整合表征学习。
• 将标准成对对比学习作为基线进行比较，其中正样本对由同一原始样本在不同模态上的增强版本构成。
• 模型采用孪生编码器架构，将多模态信号（BAS、ECG、呼吸）嵌入到共享潜在空间中。
• 在来自斯坦福睡眠中心的 14,000 名参与者和超过 100,000 小时多模态睡眠记录的大规模数据集上进行预训练。
• 下游任务包括睡眠阶段分类、SDB 检测、人口统计属性预测，以及基于学习嵌入的逻辑回归进行跨模态检索。
• 在 Cinc 挑战赛的独立数据集上进行外部验证，评估模型在不同机构和数据采集协议下的泛化能力。

Figure 1 : Overview of SleepFM pre-training with CL. We experiment with two types of pre-training: standard pairwise CL where we contrast embeddings from each pair of modalities separately, and our novel leave-one-out CL where we contrast the embedding of each modality against the average embedding

实验结果

研究问题

• RQ1 与标准对比学习相比，基于脑电图、ECG 和呼吸信号训练的多模态基础模型是否能提升睡眠分析的表征学习能力？
• RQ2 所提出的留一法对比学习方法在睡眠分期和 SDB 检测任务中是否优于成对对比学习？
• RQ3 所学嵌入在具有不同数据采集协议和模态的外部数据集上能实现多大程度的泛化？
• RQ4 在跨模态检索任务中，例如从 EEG 嵌入中检索对应的 ECG 片段，模型的效率如何？
• RQ5 该基础模型是否能在临床相关的睡眠任务中超越端到端训练的深度神经网络？

主要发现

• SleepFM 在睡眠阶段分类任务上实现了 0.88 的宏平均 AUROC，显著优于端到端 CNN 模型（0.72 AUROC）。
• 在睡眠呼吸暂停低通气综合征检测任务中，SleepFM 的 AUROC 达到 0.85，而 CNN 基线模型仅为 0.69。
• 在从 90,000 个候选样本中检索跨模态对应记录片段的任务中，模型实现了 48% 的 top-1 平均准确率，表明其具备强大的跨模态对齐能力。
• 留一法对比学习方法在所有下游任务中均优于成对对比学习，表明其在多模态信号整合方面更具优势。
• 在 Cinc 数据集上的外部验证显示模型具备稳健的泛化能力，SleepFM 的 AUROC 达到 0.924，AUPRC 达到 0.759，而 CNN 模型分别为 0.843 和 0.553。
• 该模型在不同人口统计群体中表现稳健，且在训练和测试站点之间存在 EEG 电极配置差异的情况下仍展现出良好的泛化能力。

(a) Sleep Stages AUROC