[论文解读] Semi-Supervised Multimodal Multi-Instance Learning for Aortic Stenosis Diagnosis

Zhe Huang, Xiaowei Yu+2 more|arXiv (Cornell University)|Mar 9, 2024

Cardiac Valve Diseases and Treatments被引用 4

一句话总结

该论文提出SMMIL，一种半监督多模态多实例学习框架，通过融合频谱多普勒和2D电影循环超声心动图影像，以提升主动脉瓣狭窄（AS）的诊断效果。通过利用两个模态中大量未标注数据与少量标注数据，SMMIL实现了最先进性能，在TMED-2数据集上实现3级AS分类的83.5%平衡准确率，并在关键基准上超越先前方法超过10个百分点。

ABSTRACT

Automated interpretation of ultrasound imaging of the heart (echocardiograms) could improve the detection and treatment of aortic stenosis (AS), a deadly heart disease. However, existing deep learning pipelines for assessing AS from echocardiograms have two key limitations. First, most methods rely on limited 2D cineloops, thereby ignoring widely available Doppler imaging that contains important complementary information about pressure gradients and blood flow abnormalities associated with AS. Second, obtaining labeled data is difficult. There are often far more unlabeled echocardiogram recordings available, but these remain underutilized by existing methods. To overcome these limitations, we introduce Semi-supervised Multimodal Multiple-Instance Learning (SMMIL), a new deep learning framework for automatic interpretation for structural heart diseases like AS. When deployed, SMMIL can combine information from two input modalities, spectral Dopplers and 2D cineloops, to produce a study-level AS diagnosis. During training, SMMIL can combine a smaller labeled set and an abundant unlabeled set of both modalities to improve its classifier. Experiments demonstrate that SMMIL outperforms recent alternatives at 3-level AS severity classification as well as several clinically relevant AS detection tasks.

研究动机与目标

• 解决自动化主动脉瓣狭窄诊断中超声心动图标注数据有限的挑战。
• 整合频谱多普勒与2D电影循环成像模态，实现全面的影像级诊断，模拟临床实践。
• 开发一种半监督学习框架，利用5,386张未标注扫描图像提升模型泛化能力。
• 克服现有模型将单个图像独立处理而非综合生成整体诊断的局限性。
• 评估现成医疗基础模型在无需微调的情况下是否能在AS诊断中表现良好。

提出的方法

• SMMIL采用多实例学习（MIL）框架，将每份超声心动图检查视为图像实例的‘袋’，目标是预测单一影像级标签。
• 模型使用多模态注意力池化机制，在实例层面融合2D电影循环与频谱多普勒图像的表征，再聚合为袋级别表征。
• 采用伪标签与一致性正则化策略对5,386张未标注扫描图像实施半监督学习，以提升分类器鲁棒性。
• 通过对比学习目标端到端训练框架，实现跨模态特征对齐，提升表征质量。
• 使用视觉Transformer主干网络提取实例级特征，随后通过注意力池化突出具有诊断意义的帧。
• 最终分类器在标注数据与伪标签未标注数据上联合训练，并采用不确定性感知损失加权以稳定训练过程。

Figure 1: Overview of SMMIL . Top: Illustration of the SSL training workflow. In the first iteration, the model is trained on the labeled set. In all subsequent iterations, the model is trained on the union of the labeled set and the selected unlabeled subset by model from the previous iteration. Th

实验结果

研究问题

• RQ1 能否通过融合2D电影循环与频谱多普勒的多模态多实例学习框架，在诊断主动脉瓣狭窄方面超越单模态模型？
• RQ2 在低资源医学影像场景下，通过半监督学习引入未标注超声心动图数据在多大程度上能提升诊断性能？
• RQ3 所提出的SMMIL框架在3级AS严重程度分类与二分类AS检测任务中，与最先进模型相比表现如何？
• RQ4 未经微调的现成医疗基础模型能否在基于超声心动图的AS诊断中表现良好？
• RQ5 与仅使用2D电影循环相比，引入多普勒影像是否显著提升诊断准确率？

主要发现

• SMMIL-ID在TMED-2的All 2D版本上达到82.0%的平衡准确率，较先前SOTA（SAMIL）提升9.4个百分点。
• SMMIL-VD在ViewLOnly 2D版本上达到83.5%的平衡准确率，超越最佳先前方法超过10个百分点。
• 仅增加频谱多普勒影像，相比仅使用2D的模型，平均平衡准确率提升9个百分点。
• 通过半监督学习引入未标注数据，相比仅使用监督学习的基线，准确率提升近4个百分点。
• SMMIL-VD在无AS与存在AS的二分类检测任务中AUCROC达到0.98，优于所有基线模型，包括ABMIL与DSMIL。
• 未经微调的现成医疗基础模型（Med-Flamingo与Rad-FM）平衡准确率均低于57%，表明其尚不适合直接部署于超声心动图诊断。