[论文解读] Multimodal Foundation Models For Echocardiogram Interpretation

Matthew Christensen, Miloš Vukadinovic+2 more|arXiv (Cornell University)|Aug 29, 2023

Radiomics and Machine Learning in Medical Imaging被引用 6

一句话总结

该论文提出EchoCLIP，一种在103万张超声心动图视频及专家报告上预训练的多模态基础模型，可实现心脏影像的零样本解释。其在左心室射血分数估计任务中表现优异（外部数据集MAE为7.1%），并能检测心内装置，AUC最高达0.98；而长上下文变体EchoCLIP-R则实现了稳健的患者追踪与跨模态检索，top-1%平均排名表现优异。

ABSTRACT

Multimodal deep learning foundation models can learn the relationship between images and text. In the context of medical imaging, mapping images to language concepts reflects the clinical task of diagnostic image interpretation, however current general-purpose foundation models do not perform well in this context because their training corpus have limited medical text and images. To address this challenge and account for the range of cardiac physiology, we leverage 1,032,975 cardiac ultrasound videos and corresponding expert interpretations to develop EchoCLIP, a multimodal foundation model for echocardiography. EchoCLIP displays strong zero-shot (not explicitly trained) performance in cardiac function assessment (external validation left ventricular ejection fraction mean absolute error (MAE) of 7.1%) and identification of implanted intracardiac devices (areas under the curve (AUC) between 0.84 and 0.98 for pacemakers and artificial heart valves). We also developed a long-context variant (EchoCLIP-R) with a custom echocardiography report text tokenizer which can accurately identify unique patients across multiple videos (AUC of 0.86), identify clinical changes such as orthotopic heart transplants (AUC of 0.79) or cardiac surgery (AUC 0.77), and enable robust image-to-text search (mean cross-modal retrieval rank in the top 1% of candidate text reports). These emergent capabilities can be used for preliminary assessment and summarization of echocardiographic findings.

研究动机与目标

• 开发一种多模态基础模型，利用配对的影像与临床报告数据，实现对超声心动图视频的零样本解释。
• 通过在大规模、临床相关的超声心动图与专家报告数据集上进行训练，解决通用基础模型在医学影像中的局限性。
• 通过学习的跨模态嵌入，实现对心脏功能异常、心内装置以及临床变化（如心脏移植或手术）的零样本检测。
• 通过学习同一患者不同时间点超声心动图的一致性表征，提升跨时间的患者水平追踪能力。
• 通过支持稳健的图像到文本与文本到图像检索，为初步解读与摘要生成提供临床决策支持。

提出的方法

• 使用来自10年临床超声心动图数据中99,870名患者的1,032,975组独特视频-文本配对，训练视觉-语言基础模型。
• 采用ConvNeXt图像编码器和专为超声心动图报告优化的自定义BPE分词器，将报告平均长度从530个词元减少至63.8个。
• 设计基于模板的分词器，利用正则表达式编码结构化短语（如“<_ 左心室肥厚>”）以及严重程度/定量术语，词汇表仅含770个词元。
• 通过对比学习微调模型，将图像与文本嵌入对齐于共享潜在空间，实现零样本迁移至下游任务。
• 通过文本提示嵌入与视频嵌入之间的余弦相似度评估零样本性能，回归任务采用前20%提示得分的中位数。
• 开发EchoCLIP-R，一种长上下文变体，通过增强文本分词能力，支持跨多份研究的检索与纵向患者追踪。

实验结果

研究问题

• RQ1 在大规模临床超声心动图数据集上预训练的基础模型，能否泛化至零样本任务（如射血分数估计与装置检测）？
• RQ2 在无需任务特定微调的情况下，该模型检测细微心脏异常与病理改变（如心腔扩大）的能力如何？
• RQ3 通过跨模态嵌入相似性，该模型在多份超声心动图研究中识别同一患者的能力有多强？
• RQ4 该模型能否基于随时间变化的嵌入相似性趋势，检测到临床重要事件（如原位心脏移植或心脏手术）？
• RQ5 该模型在跨模态检索中的有效性如何，能否实现准确的图像到文本与文本到图像搜索，以支持临床解读？

主要发现

• EchoCLIP在EchoNet-Dynamic数据集的外部测试集上，实现了7.1%的平均绝对误差（MAE），完成左心室射血分数的零样本估计。
• 该模型在检测心内装置方面表现出高AUC性能：经皮二尖瓣修复检测AUC为0.97，TAVR检测AUC为0.92，起搏器/除颤器导线检测AUC为0.84。
• EchoCLIP-R在21,484个候选结果中的平均跨模态检索排名为209位，分别有33.3%和34.3%的时间将正确的报告或视频排在前10%以内。
• 该模型成功识别出不同研究中同一患者，患者级嵌入相似性的AUC达到0.86，表明表征学习具有一致性。
• EchoCLIP-R基于时间嵌入相似性趋势，检测到临床变化（如原位心脏移植，AUC 0.79；心脏手术，AUC 0.77）。
• 自定义分词器将报告平均词元长度减少9倍（从530降至63.8），同时保留临床含义，实现了超声心动图报告的高效且准确表征。