[论文解读] Patient Contrastive Learning: a Performant, Expressive, and Practical Approach to ECG Modeling

Nathaniel Diamant, Erik Reinertsen+4 more|arXiv (Cornell University)|Apr 9, 2021

ECG Monitoring and Analysis参考文献 20被引用 7

一句话总结

本文提出患者对比表示学习（PCLR），一种自监督对比学习方法，通过在时间上对同一患者的 ECG 进行对齐，学习具有表现力、高效且实用的 ECG 表示。PCLR 在 320 万个未标注的 12 导联 ECG 上进行预训练，在下游临床任务中显著提升性能，尤其是在少于 5,000 个标注样本时，优于手工设计的特征以及在心律分类上预训练的模型。

ABSTRACT

Supervised machine learning applications in health care are often limited due to a scarcity of labeled training data. To mitigate this effect of small sample size, we introduce a pre-training approach, Patient Contrastive Learning of Representations (PCLR), which creates latent representations of ECGs from a large number of unlabeled examples. The resulting representations are expressive, performant, and practical across a wide spectrum of clinical tasks. We develop PCLR using a large health care system with over 3.2 million 12-lead ECGs, and demonstrate substantial improvements across multiple new tasks when there are fewer than 5,000 labels. We release our model to extract ECG representations at https://github.com/broadinstitute/ml4h/tree/master/model_zoo/PCLR.

研究动机与目标

• 解决临床机器学习中受限标注训练数据的问题，特别是针对猝死等罕见疾病。
• 开发一种不仅性能优越，而且对无深度学习专业知识的临床研究人员而言表达性强且实用的预训练方法。
• 为 12 导联 ECG 创建一个通用的表示学习框架，以提升在多样化临床任务中的下游性能。
• 证明以患者为中心的对比学习优于基于疾病特异性预训练和手工 ECG 特征。

提出的方法

• PCLR 采用受 SimCLR 启发的对比学习框架，但将重点从数据增强转向患者身份。
• 正样本对由同一患者在不同时间采集的 ECG 构成；负样本对由不同患者采集的 ECG 构成。
• 该模型学习一个潜在空间，使同一患者的 ECG 映射到彼此靠近的位置，从而保留患者特异的生理模式。
• 通过对比损失函数优化表示空间，以最大化正样本对之间的相似性，同时最小化负样本对之间的相似性。
• 在 320 万个未标注 ECG 上完成预训练后，通过线性评估头对特定任务（如性别分类、左心室肥厚（LVH）、心房颤动（AF）、年龄回归）进行微调。
• 最终的表示设计为可直接与线性模型配合使用，便于无专家背景的临床研究人员轻松部署。

实验结果

研究问题

• RQ1 一种以患者身份为核心而非数据增强的自监督对比学习方法，能否提升 ECG 的表示学习？
• RQ2 当在下游临床任务中使用有限标注数据进行微调时，PCLR 与在心律分类上预训练的监督方法相比表现如何？
• RQ3 PCLR 表示在临床预测任务中，相较于传统手工 ECG 特征，优势有多大？
• RQ4 在何种数据设置下（如少样本学习），PCLR 相较于从零开始训练或其他预训练模型最为有效？

主要发现

• 当标注样本少于 5,000 个时，PCLR 在所有四项评估任务（性别分类、LVH 检测、AF 分类、年龄回归）中均优于从零开始训练。
• PCLR 在性别分类任务中表现显著提升，可能归因于性别作为生理特征具有稳定的患者特异性。
• 基于 PCLR 表示训练的线性模型，在 LVH 分类、性别分类和年龄回归任务中，显著优于基于标准 ECG 特征（如心率、PR 间期、QRS 时限）训练的模型。
• PCLR 在 LVH 和性别分类任务中表现优于在心律分类上预训练的模型（Ribeiro-R），表明以患者为中心的表示比任务特异性表示具有更好的泛化能力。
• PCLR 的性能增益在低数据设置下最为显著，证明其在数据稀缺的临床环境中具有高度有效性。
• 发布的 PCLR 模型使临床研究人员无需掌握深度学习知识即可提取高质量的 ECG 表示，支持其在实际中的广泛采用。