[论文解读] Subsequent Boundary Distance Regression and Pixelwise Classification Networks for Automatic Kidney Segmentation in Ultrasound Images.

Shi Yin, Qinmu Peng+6 more|arXiv (Cornell University)|Nov 12, 2018

Pediatric Urology and Nephrology Studies被引用 2

一句话总结

该论文提出了一种新颖的深度学习框架，通过结合边界距离回归与像素级分类网络，实现超声图像中肾脏的自动分割。利用预训练特征和基于肾脏形状配准的数据增强策略，该方法在标注数据有限的情况下，显著优于标准的像素分类网络，显著提升了分割精度。

ABSTRACT

It remains challenging to automatically segment kidneys in clinical ultrasound (US) images due to the kidneys' varied shapes and image intensity distributions, although semi-automatic methods have achieved promising performance. In this study, we propose subsequent boundary distance regression and pixel classification networks to segment the kidneys, informed by the fact that the kidney boundaries have relatively homogenous texture patterns across images. Particularly, we first use deep neural networks pre-trained for classification of natural images to extract high-level image features from US images, then these features are used as input to learn kidney boundary distance maps using a boundary distance regression network, and finally the predicted boundary distance maps are classified as kidney pixels or non-kidney pixels using a pixel classification network in an end-to-end learning fashion. We also adopted a data-augmentation method based on kidney shape registration to generate enriched training data from a small number of US images with manually segmented kidney labels. Experimental results have demonstrated that our method could effectively improve the performance of automatic kidney segmentation, significantly better than deep learning-based pixel classification networks.

研究动机与目标

• 解决由于肾脏形状和强度分布可变性导致的超声图像中自动肾脏分割的挑战。
• 利用超声图像中肾脏边界一致的纹理模式，以提高分割精度。
• 开发一种端到端学习框架，将边界距离回归与像素分类相结合，以提升性能。
• 通过基于形状配准的数据增强技术，从有限的手动分割超声图像中生成丰富训练样本，提升训练数据效率。
• 在仅使用极少标注数据的情况下，超越现有基于深度学习的像素分类网络在肾脏分割任务中的表现。

提出的方法

• 利用在自然图像分类任务上预训练的深度神经网络，从超声图像中提取高层特征。
• 训练一个边界距离回归网络，从图像特征中预测距离图，以估计到肾脏边界的空域距离。
• 应用像素分类网络，基于预测的边界距离图将每个像素分类为肾脏或非肾脏。
• 实施一种端到端学习策略，联合优化边界距离回归与像素分类组件。
• 采用基于肾脏形状配准的数据增强技术，从少量手动分割的超声图像中合成多样化训练样本。
• 利用配准后的形状生成肾脏几何形态的逼真变化，提升模型的泛化能力和鲁棒性。

实验结果

研究问题

• RQ1 与标准的像素分类网络相比，边界距离回归是否能提升超声图像中肾脏分割的性能？
• RQ2 利用肾脏边界中一致的纹理模式，能在多大程度上提升分割精度？
• RQ3 当仅有少量标注的超声图像时，基于形状的数据增强在提升模型泛化能力方面的有效性如何？
• RQ4 从自然图像分类中预训练的特征是否能改善医学超声图像分割的特征表示？
• RQ5 将边界距离图整合到像素分类框架中，是否能带来更精确和鲁棒的肾脏分割结果？

主要发现

• 所提出的方法在超声图像的自动肾脏分割任务中，显著优于标准的基于深度学习的像素分类网络。
• 将边界距离回归与像素分类相结合，可产生更准确和鲁棒的分割结果。
• 基于形状的数据增强策略能有效提升训练数据的多样性，并在标注样本有限的情况下改善模型泛化能力。
• 来自自然图像分类的预训练特征提供了强大的初始表示，显著提升了在超声图像上的性能表现。
• 端到端学习框架有效利用了空间边界信息，与基线方法相比，显著提升了分割精度。
• 该方法即使在仅使用少量手动分割训练图像的情况下，也表现出优异性能，凸显其数据效率优势。