[论文解读] Transfer Learning U-Net Deep Learning for Lung Ultrasound Segmentation

Dorothy J. Cheng, Edmund Y. Lam|arXiv (Cornell University)|Oct 5, 2021

COVID-19 diagnosis using AI参考文献 19被引用 20

一句话总结

本研究提出了一种用于精确肺部超声图像分割的迁移学习U-Net框架，对比了基于VGG16（V-Unet）和自然图像预训练（X-Unet）的方法。尽管X-Unet的Dice分数略低，但其在视觉准确性方面表现更优，且伪影更少；部分微调策略进一步提升了性能，凸显了在有限医学数据集下迁移学习与数据增强之间的协同效应。

ABSTRACT

Transfer learning (TL) for medical image segmentation helps deep learning models achieve more accurate performances when there are scarce medical images. This study focuses on completing segmentation of the ribs from lung ultrasound images and finding the best TL technique with U-Net, a convolutional neural network for precise and fast image segmentation. Two approaches of TL were used, using a pre-trained VGG16 model to build the U-Net (V-Unet) and pre-training U-Net network with grayscale natural salient object dataset (X-Unet). Visual results and dice coefficients (DICE) of the models were compared. X-Unet showed more accurate and artifact-free visual performances on the actual mask prediction, despite its lower DICE than V-Unet. A partial-frozen network fine-tuning (FT) technique was also applied to X-Unet to compare results between different FT strategies, which FT all layers slightly outperformed freezing part of the network. The effect of dataset sizes was also evaluated, showing the importance of the combination between TL and data augmentation.

研究动机与目标

• 通过使用U-Net的迁移学习方法，提升肺部超声图像中肋骨分割的准确性。
• 评估不同预训练策略——VGG16与自然显著目标数据集——在医学图像分割中的有效性。
• 研究在低数据环境下，迁移学习中U-Net的微调策略。
• 评估数据集规模与数据增强在结合迁移学习时对医学图像分割的影响。
• 确定预训练源与微调策略之间的最优平衡，以实现鲁棒的分割性能。

提出的方法

• 采用在ImageNet上通过VGG16预训练编码器的改进U-Net架构（V-Unet）。
• 构建U-Net模型，其编码器在灰度自然显著目标数据集上预训练（X-Unet）。
• 在肺部超声数据上训练期间，通过冻结不同数量的编码器层，实施部分微调。
• 使用Dice系数（DICE）和视觉检查评估分割性能。
• 采用数据增强技术，以在训练数据有限的情况下提升模型泛化能力。
• 对比不同迁移学习方法与微调策略下的模型性能。

实验结果

研究问题

• RQ1 在肺部超声图像分割中，基于VGG16还是自然显著目标数据集的预训练源能带来更好的分割性能？
• RQ2 与完全微调相比，部分微调在分割准确性和伪影减少方面表现如何？
• RQ3 在医学图像分割中，结合迁移学习时，数据集规模与数据增强的影响是什么？
• RQ4 为何X-Unet在Dice分数低于V-Unet的情况下，仍能生成更少伪影的预测结果？
• RQ5 在低数据设置下，使用非医学预训练模型的迁移学习是否能超越医学专用预训练？

主要发现

• 尽管Dice分数较低，X-Unet生成的分割掩码在视觉上更准确且伪影更少，优于V-Unet。
• 部分冻结微调策略略优于仅冻结部分层的策略，表明更广泛的微调具有优势。
• V-Unet的Dice系数高于X-Unet，但视觉质量较差，因伪影更多。
• 迁移学习与数据增强的结合显著提升了模型性能，尤其在训练数据有限时。
• 在本研究背景下，基于自然显著目标数据集的预训练在泛化能力和视觉保真度方面优于基于ImageNet的预训练。
• 本研究表明，当结合有效的微调与数据增强时，非医学预训练可与医学专用预训练相媲美。