[论文解读] Real-Time Detection and Localisation of Fetal Standard Scan Planes in 2D Freehand Ultrasound.

Christian F. Baumgartner, Konstantinos Kamnitsas+6 more|arXiv (Cornell University)|Dec 16, 2016

Fetal and Pediatric Neurological Disorders被引用 5

一句话总结

该论文提出了一种实时、弱监督的卷积神经网络方法，用于在2D徒手超声中自动检测和定位13种胎儿标准切面，基于大规模临床数据集，平均F1得分达到0.86，边界框定位准确率为77.8%，可支持新手和专家操作员。

ABSTRACT

Identifying and interpreting fetal standard scan planes during 2D ultrasound mid-pregnancy examinations are highly complex tasks which require years of training. Apart from guiding the probe to the correct location, it can be equally difficult for a non-expert to identify relevant structures within the image. Automatic image processing can provide tools to help experienced as well as inexperienced operators with these tasks. In this paper, we propose a novel method based on convolutional neural networks which can automatically detect 13 fetal standard views in freehand 2D ultrasound data as well as provide a localisation of the fetal structures via a bounding box. An important contribution is that the network learns to localise the target anatomy using weak supervision only. The network architecture is designed to operate in real-time while providing optimal output for the localisation task. We present results for real-time annotation, retrospective frame retrieval from saved videos, and localisation on a very large and challenging dataset consisting of images and video recordings of full clinical anomaly screenings. The proposed method annotated video frames with an average F1-score of 0.86, and obtained a 90.09% accuracy for retrospective frame retrieval. Moreover, we achieved an accuracy of 77.8% on the localisation task.

研究动机与目标

• 为解决在2D徒手超声中识别和定位胎儿标准切面的挑战，该任务需要大量训练，且对非专家而言具有难度。
• 开发一种自动方法，以支持中期妊娠异常筛查期间的新手和经验丰富的操作员。
• 利用弱监督实现实时检测和定位胎儿解剖结构，避免对密集人工标注的依赖。
• 在大规模、临床真实的徒手超声视频和静态图像数据集上评估性能。
• 实现实时标注和回顾性帧检索的高精度，以实现临床工作流程的集成。

提出的方法

• 设计了一种定制的卷积神经网络架构，可在实时处理2D超声帧的同时预测检测和定位结果。
• 该网络采用弱监督，从图像级标签（例如，“此帧包含四腔心切面”）学习，而无需精确的边界框标注。
• 模型同时输出分类结果（识别存在的标准视图）和定位结果（目标解剖结构周围的边界框）。
• 该架构针对推理速度进行了优化，以确保在标准硬件上实现实时性能。
• 该方法在包含静态图像和视频序列的大型临床异常筛查记录数据集上进行训练和评估。
• 通过扫描保存的视频序列并对每一帧应用模型，实现回顾性帧检索。

实验结果

研究问题

• RQ1 弱监督深度学习模型能否在徒手2D超声中以高精度和实时性能检测13种胎儿标准切面？
• RQ2 仅使用图像级标签且无边界框标注时，该模型在胎儿解剖结构定位方面的表现如何？
• RQ3 该方法在临床超声数据上的实时标注与回顾性帧检索性能如何？
• RQ4 该模型能否泛化到大规模、多样化的徒手2D超声记录数据集？
• RQ5 在弱监督条件下，检测精度与定位精度之间的权衡如何？

主要发现

• 所提出的方法在13种视图中实现了胎儿标准切面实时检测的平均F1得分为0.86。
• 该模型在回顾性帧检索中达到90.09%的准确率，表明在存储的视频数据上表现强劲。
• 定位任务的准确率达到77.8%，表明在弱监督条件下边界框预测效果良好。
• 该网络可实现实时运行，适合集成到临床工作流程中。
• 该方法在大规模且具有挑战性的临床徒手超声记录数据集上表现出良好的泛化能力。
• 弱监督的使用显著减少了标注工作量，同时保持了高检测性能。