[论文解读] Multimodal Transfer Learning-based Approaches for Retinal Vascular Segmentation

José Morano, Álvaro S. Hervella+3 more|arXiv (Cornell University)|Dec 18, 2020

Retinal Imaging and Analysis参考文献 40被引用 5

一句话总结

本文提出了一种用于视网膜血管分割的多模态迁移学习框架，通过在未标注的眼底照相-血管造影图像对上进行自监督预训练。通过利用未标注的多模态数据对全卷积网络（FCNs）进行预训练，该方法在有限标注数据上的微调需求显著减少，分割性能大幅提升，优于从零开始训练的模型，并在不同网络架构间表现出良好的鲁棒性，其中U-Net在准确率与泛化能力之间实现了最佳平衡。

ABSTRACT

In ophthalmology, the study of the retinal microcirculation is a key issue in the analysis of many ocular and systemic diseases, like hypertension or diabetes. This motivates the research on improving the retinal vasculature segmentation. Nowadays, Fully Convolutional Neural Networks (FCNs) usually represent the most successful approach to image segmentation. However, the success of these models is conditioned by an adequate selection and adaptation of the architectures and techniques used, as well as the availability of a large amount of annotated data. These two issues become specially relevant when applying FCNs to medical image segmentation as, first, the existent models are usually adjusted from broad domain applications over photographic images, and second, the amount of annotated data is usually scarcer. In this work, we present multimodal transfer learning-based approaches for retinal vascular segmentation, performing a comparative study of recent FCN architectures. In particular, to overcome the annotated data scarcity, we propose the novel application of self-supervised network pretraining that takes advantage of existent unlabelled multimodal data. The results demonstrate that the self-supervised pretrained networks obtain significantly better vascular masks with less training in the target task, independently of the network architecture, and that some FCN architecture advances motivated for broad domain applications do not translate into significant improvements over the vasculature segmentation task.

研究动机与目标

• 解决医学图像分割中视网膜图像标注数据有限的挑战。
• 通过利用未标注的多模态数据，克服视网膜血管分割中的数据稀缺问题。
• 评估在眼底照相-血管造影图像对上进行自监督预训练在基于FCN的迁移学习中的有效性。
• 在相同的预训练与微调协议下，比较不同FCN架构（U-Net、FC-DenseNet、ENet）在预训练后的分割性能表现。
• 确定在低数据环境下，哪种网络架构在性能、泛化能力与计算成本之间实现了最佳权衡。

提出的方法

• 在未标注的眼底照相与血管造影图像对上，通过自监督的多模态重建任务对全卷积网络（FCNs）进行预训练。
• 将预训练的编码器作为特征提取器，用于在有限标注数据上进行下游视网膜血管分割任务。
• 在目标数据集（DRIVE与STARE）上，使用标准分割损失函数对预训练模型进行端到端微调。
• 应用数据增强技术以提升训练多样性并改善泛化能力。
• 在相同的预训练与微调协议下，比较U-Net、FC-DenseNet与ENet等不同FCN架构的性能表现。
• 使用Dice系数、敏感度与特异度等指标评估测试集上的分割性能。

实验结果

研究问题

• RQ1 在未标注的多模态视网膜图像（眼底照相与血管造影）上进行自监督预训练，能否提升下游血管分割性能？
• RQ2 与从零开始训练相比，多模态数据预训练在分割准确率与收敛速度方面表现如何？
• RQ3 在使用有限标注数据进行微调时，哪种FCN架构（U-Net、FC-DenseNet、ENet）在性能与泛化能力方面表现最佳？
• RQ4 多模态预训练是否能降低视网膜血管分割对大规模标注数据集的依赖？
• RQ5 通用计算机视觉中的架构改进在多大程度上可迁移至视网膜血管分割任务？

主要发现

• 与从零开始训练相比，在未标注的眼底照相-血管造影图像对上进行自监督预训练，即使仅进行少量微调，也能显著提升血管分割性能。
• 该预训练策略减少了达到高性能所需的训练轮数，表现出更快的收敛速度。
• U-Net在DRIVE与STARE两个数据集上均取得了最佳分割性能，展现出更优的泛化能力，尤其在存在病理性表现的图像上表现突出。
• 尽管参数量更少，FC-DenseNet未能充分发挥其架构潜力，在更具挑战性的STARE数据集上表现不如U-Net。
• ENet虽在准确率上不及U-Net与FC-DenseNet，但经过预训练后仍取得了令人满意的结果，因此在计算资源受限的场景下仍具可行性。
• 该多模态预训练方法对小规模训练数据集具有鲁棒性，在标注数据有限的情况下仍能保持高性能。