[论文解读] View Classification and Object Detection in Cardiac Ultrasound to Localize Valves via Deep Learning

Derya Gol Gungor, Bimba Rao+2 more|arXiv (Cornell University)|Oct 31, 2023

Cardiac Valve Diseases and Treatments被引用 5

一句话总结

本论文提出了一种深度学习流水线，通过目标检测技术对心脏超声图像中的视图进行分类，并检测心脏瓣膜，实现了在心尖视图中对二尖瓣、主动脉瓣和三尖瓣的高精度定位。这是首次将最先进的目标检测神经网络应用于2D超声心动图中瓣膜的定位与分类，Apical 4-chamber视图的mAP得分高达0.343（IoU: 0.50:0.95）。

ABSTRACT

Echocardiography provides an important tool for clinicians to observe the function of the heart in real time, at low cost, and without harmful radiation. Automated localization and classification of heart valves enables automatic extraction of quantities associated with heart mechanical function and related blood flow measurements. We propose a machine learning pipeline that uses deep neural networks for separate classification and localization steps. As the first step in the pipeline, we apply view classification to echocardiograms with ten unique anatomic views of the heart. In the second step, we apply deep learning-based object detection to both localize and identify the valves. Image segmentation based object detection in echocardiography has been shown in many earlier studies but, to the best of our knowledge, this is the first study that predicts the bounding boxes around the valves along with classification from 2D ultrasound images with the help of deep neural networks. Our object detection experiments applied to the Apical views suggest that it is possible to localize and identify multiple valves precisely.

研究动机与目标

• 开发一种基于深度学习的自动化流水线，用于在2D心脏超声图像中定位和分类心脏瓣膜。
• 通过自动检测二尖瓣、主动脉瓣和三尖瓣，实现对血流动力学的定量评估，从而改善临床工作流程。
• 通过使用目标检测方法预测瓣膜周围的精确边界框，克服以往基于分割方法的局限性。
• 通过实时瓣膜定位与可视化，支持经验较少的超声心动图医师的培训与指导。
• 将视图分类扩展至多视图，实现上下文感知的瓣膜检测。

提出的方法

• 提出一种两阶段深度学习流水线：首先使用预训练的卷积神经网络（CNN）对解剖视图（如Apical 2, 3, 4-chamber）进行分类。
• 其次，在已分类的视图中应用基于区域的目标检测网络（Faster R-CNN），以定位并分类瓣膜。
• 目标检测模型使用锚框（anchor boxes）和区域提议（region proposals）来预测具有类别特定置信度分数的边界框。
• 数据增强包括裁剪与填充操作，以模拟部分瓣膜的出现情况，提升对影像变异的鲁棒性。
• 模型训练使用交叉熵损失进行分类，使用平滑L1损失进行边界框回归。
• 评估使用平均平均精度（mAP）和平均平均召回率（mAR），在多个IoU阈值（0.50:0.95, 0.50, 0.75）下进行。

实验结果

研究问题

• RQ1 基于深度学习的目标检测能否在心尖2D超声心动图中准确地定位和分类二尖瓣、主动脉瓣和三尖瓣？
• RQ2 目标检测的性能在不同心尖视图中如何变化，特别是在mAP和检测置信度方面的表现？
• RQ3 影像伪影、噪声以及部分瓣膜可见性对检测精度的影响程度如何？
• RQ4 与以往基于分割的方法相比，所提出的流水线在速度、精度和对图像变异的鲁棒性方面是否具有优势？
• RQ5 是否可行将视图分类与目标检测整合为一个端到端的统一流水线，以实现自动化瓣膜定位？

主要发现

• Apical 4-chamber视图的mAP最高，达到0.343（IoU: 0.50:0.95），归因于训练数据量更大以及瓣膜尺寸更大。
• Apical 2-chamber视图的mAP最低（0.151），尽管二尖瓣尺寸最大，可能由于真实标注的变异性较高。
• Apical 3-chamber视图的mAP为0.170（IoU: 0.50:0.95），其中主动脉瓣得分较低，因其尺寸较小且在噪声图像中可见度差。
• 模型在测试图像中成功检测到部分可见的瓣膜，可能得益于包含裁剪与填充操作的数据增强。
• 当二尖瓣因心脏旋转而显得较小时，检测置信度显著下降，表明对成像平面方向敏感。
• 可视化结果表明，在多种成像条件下（包括动态范围、缩放和噪声水平变化），二尖瓣和三尖瓣的定位具有一致性。