[论文解读] Weakly Supervised Estimation of Shadow Confidence Maps in Fetal Ultrasound Imaging

Qingjie Meng, Matthew Sinclair+12 more|arXiv (Cornell University)|Nov 20, 2018

Fetal and Pediatric Neurological Disorders参考文献 25被引用 4

一句话总结

该论文提出了一种弱监督深度学习方法，仅使用图像级标签和少量粗粒度像素级注释，即可在2D胎儿超声图像中估计密集且连续的阴影置信度图。通过利用阴影分割模块、迁移函数和置信度估计网络，该方法在分割精度和置信度图一致性方面优于人类专家，实现了对超声医师的实时引导，并提升了图像分类和生物测量等下游任务的性能。

ABSTRACT

Detecting acoustic shadows in ultrasound images is important in many clinical and engineering applications. Real-time feedback of acoustic shadows can guide sonographers to a standardized diagnostic viewing plane with minimal artifacts and can provide additional information for other automatic image analysis algorithms. However, automatically detecting shadow regions using learning-based algorithms is challenging because pixel-wise ground truth annotation of acoustic shadows is subjective and time consuming. In this paper we propose a weakly supervised method for automatic confidence estimation of acoustic shadow regions. Our method is able to generate a dense shadow-focused confidence map. In our method, a shadow-seg module is built to learn general shadow features for shadow segmentation, based on global image-level annotations as well as a small number of coarse pixel-wise shadow annotations. A transfer function is introduced to extend the obtained binary shadow segmentation to a reference confidence map. Additionally, a confidence estimation network is proposed to learn the mapping between input images and the reference confidence maps. This network is able to predict shadow confidence maps directly from input images during inference. We use evaluation metrics such as DICE, inter-class correlation and etc. to verify the effectiveness of our method. Our method is more consistent than human annotation, and outperforms the state-of-the-art quantitatively in shadow segmentation and qualitatively in confidence estimation of shadow regions. We further demonstrate the applicability of our method by integrating shadow confidence maps into tasks such as ultrasound image classification, multi-view image fusion and automated biometric measurements.

研究动机与目标

• 解决胎儿超声中声影检测因像素级标注有限且主观性高所带来的挑战。
• 开发一种弱监督方法，仅使用图像级标签和稀疏粗粒度标注，生成密集且连续的阴影区域置信度图。
• 在一致性与准确性方面超越人类观察者之间的差异，提升阴影检测性能。
• 为超声医师提供实时反馈，以优化扫描平面并减少伪影。
• 通过集成阴影置信度图，提升图像分类、多视角融合和自动生物测量等下游应用的性能。

提出的方法

• 使用带有全局图像级标签（'有阴影'或'无阴影'）的图像训练阴影分割模块，以学习通用的阴影特征。
• 通过迁移函数利用真阳性区域的平均强度（公式1）将二值阴影分割输出映射为参考置信度图。
• 训练置信度估计网络，直接从输入图像预测连续的阴影置信度图，并以参考图作为监督信号。
• 利用少量粗粒度像素级标注（约占图像级标签图像的10%）来优化胎儿脑部特定的潜在特征空间。
• 采用DICE、MSE和软DICE等损失函数，端到端联合训练网络，以优化分割与置信度估计。
• 由于采用了基于强度的平滑处理和ICC、软DICE等评估指标，该方法对噪声或不准确的粗粒度标注具有鲁棒性。

实验结果

研究问题

• RQ1 仅使用图像级标签和稀疏粗粒度标注，弱监督深度学习方法能否生成准确且一致的阴影置信度图？
• RQ2 在阴影分割准确性和置信度图一致性方面，该方法与人类观察者之间的差异相比如何？
• RQ3 所估计的阴影置信度图是否能提升图像分类和生物测量等下游超声应用的性能？
• RQ4 该方法是否能无需依赖空间相关性或启发式超参数，实现对多个不连续阴影区域的检测？
• RQ5 该方法能否为超声医师提供实时反馈，以指导最优扫描平面的选择？

主要发现

• 所提方法在定量阴影分割方面优于现有最先进方法，DICE分数更高，MSE分数更低。
• 该方法在一致性方面优于人类标注，ICC值表明其在不同标注者之间具有更高的可靠性。
• 置信度估计网络生成的置信度图在视觉上更合理且更连续，尤其在复杂阴影模式区域表现更优。
• 将阴影置信度图集成到标准平面分类、多视角图像融合和自动生物测量任务中，显著提升了性能，证明了其在真实应用场景中的实用性。
• 该方法的推理速度显著快于以往方法，支持临床引导的实时部署。
• 模型在检测多个不连续阴影区域方面泛化能力良好，并且由于基于强度的平滑处理和损失函数设计，对不完美粗粒度标注具有鲁棒性。