[论文解读] Shadow Detection for Ultrasound Images Using Unlabeled Data and Synthetic Shadows

Suguru Yasutomi, Tatsuya Arakaki+1 more|arXiv (Cornell University)|Aug 5, 2019

Generative Adversarial Networks and Image Synthesis参考文献 8被引用 6

一句话总结

本文提出了一种利用未标记数据和合成阴影的自监督超声图像阴影检测方法，采用具有解耦阴影与内容重建能力的受限自编码器架构。该方法在胎儿心脏超声数据上实现了最先进性能，IoU为0.340，DICE为0.492，尽管未使用任何真实分割标签，仍优于监督基线方法。

ABSTRACT

Medical ultrasound is widely used technique for diagnosing internal organs. As common artifacts, shadows often appear in ultrasound images. Detecting such shadows is curious because they prevent accurate diagnosis. In this paper, we propose a novel shadow detection method based on auto-encoding structure. It once separates an input image into a shadow image and a content image using two decoders and combines them to reconstruct the input. To lead the network into separating the input, we inject synthetic shadows into the input and make the network to predict them as the shadow image. Since we know the rough shape of shadows as basic domain knowledge, we can generate plausible shadows. These processes are achieved by using only unlabeled data. Experiments on ultrasound images for fetal heart diagnosis shows the effectiveness of the method.

研究动机与目标

• 为解决超声成像中阴影干扰问题，该问题会降低诊断准确率和图像识别性能。
• 开发一种无需昂贵像素级标注即可训练的阴影检测方法。
• 通过使用合成阴影和未标记数据，在最小化领域特定监督的前提下，利用深度学习的特征提取能力。
• 在标注数据稀缺的低资源环境中实现有效的阴影检测。
• 提升在不同超声成像场景（包括不同探头和器官）下的鲁棒性。

提出的方法

• 该方法采用具有共享编码器和两个解码器的受限自编码器：一个用于预测阴影内容（$D_s$），另一个用于重建无阴影内容（$D_c$）。
• 通过逐元素相乘（$\tilde{x} = x \circ x_s$）对输入图像进行增强，其中$x_s$为基于规则的环形扇区，表示可能由骨骼引起的阴影。
• 网络通过在完整图像上使用均方误差（MSE）损失来重建输入图像$\hat{x} = \hat{x}_s \circ \hat{x}_c$。
• 仅在合成阴影区域应用专门的损失$l_s$，以确保阴影位置预测的准确性。
• 通过$l_{\text{sreg}}$正则化防止预测阴影过暗，通过贝塔分布负对数似然损失$l_c$强制$\hat{x}_c$中的内容分布保持真实。
• 总损失结合了重建、阴影预测、正则化和内容真实性：$l = \lambda_{\text{AE}} l_{\text{AE}} + \lambda_s l_s + \lambda_{\text{sreg}} l_{\text{sreg}} + \lambda_c l_c$。

实验结果

研究问题

• RQ1 是否可以无需像素级标注有效学习超声图像中的阴影检测？
• RQ2 使用合成阴影的自监督方法在真实超声图像上的泛化能力如何？
• RQ3 具有共享编码的解耦自编码器架构是否能有效分离超声图像中的阴影与内容？
• RQ4 结合领域特定知识（如合成阴影模式）是否能在最小监督下提升检测性能？
• RQ5 当仅有有限标注数据时，该方法与完全监督方法相比表现如何？

主要发现

• 所提方法在测试数据上实现了0.340 ± 0.132的交并比（IoU）和0.492 ± 0.161的Dice系数，优于基线阈值法（IoU：0.229 ± 0.105）。
• 该方法略胜于监督的SegNet基线（IoU：0.338 ± 0.150），即使标注数据有限，也证明了其有效性。
• 定性结果表明，该模型成功检测到了多种不同胎儿心脏超声图像中的阴影模式。
• 尽管训练过程中未使用真实标签，该方法在具有多样阴影外观的真实超声图像上仍表现出良好的泛化能力。
• 该模型偶尔会将低强度解剖结构（如羊水、心腔）误判为阴影，表明在区分低强度特征与真实阴影方面存在局限性。
• 消融实验验证了贝塔分布负对数似然损失和阴影正则化在提升重建质量和检测准确性方面的重要性。