[论文解读] Performance assessment of the deep learning technologies in grading glaucoma severity

Zhen Yi, Lei Wang+3 more|arXiv (Cornell University)|Oct 31, 2018

Retinal Imaging and Analysis被引用 11

一句话总结

本研究评估了八种深度学习模型在使用彩色眼底图像分级青光眼严重程度方面的表现，比较了其在全局和局部感兴趣区域（ROI）上的性能。微调后的模型，尤其是DenseNet，在全局ROI上达到了85.29%的二次κ系数，表明全视野眼底图像所包含的诊断信息比局部视盘区域更丰富。

ABSTRACT

Objective: To validate and compare the performance of eight available deep learning architectures in grading the severity of glaucoma based on color fundus images. Materials and Methods: We retrospectively collected a dataset of 5978 fundus images and their glaucoma severities were annotated by the consensus of two experienced ophthalmologists. We preprocessed the images to generate global and local regions of interest (ROIs), namely the global field-of-view images and the local disc region images. We then divided the generated images into three independent sub-groups for training, validation, and testing purposes. With the datasets, eight convolutional neural networks (CNNs) (i.e., VGG16, VGG19, ResNet, DenseNet, InceptionV3, InceptionResNet, Xception, and NASNetMobile) were trained separately to grade glaucoma severity, and validated quantitatively using the area under the receiver operating characteristic (ROC) curve and the quadratic kappa score. Results: The CNNs, except VGG16 and VGG19, achieved average kappa scores of 80.36% and 78.22% when trained from scratch on global and local ROIs, and 85.29% and 82.72% when fine-tuned using the pre-trained weights, respectively. VGG16 and VGG19 achieved reasonable accuracy when trained from scratch, but they failed when using pre-trained weights for global and local ROIs. Among these CNNs, the DenseNet had the highest classification accuracy (i.e., 75.50%) based on pre-trained weights when using global ROIs, as compared to 65.50% when using local ROIs. Conclusion: The experiments demonstrated the feasibility of the deep learning technology in grading glaucoma severity. In particular, global field-of-view images contain relatively richer information that may be critical for glaucoma assessment, suggesting that we should use the entire field-of-view of a fundus image for training a deep learning network.

研究动机与目标

• 评估并比较八种深度学习架构在从彩色眼底图像中分级青光眼严重程度方面的表现。
• 评估全视野图像与局部视盘区域在诊断性能方面孰优孰劣。
• 确定从零开始训练与使用预训练权重进行微调对模型准确率的影响。
• 识别在青光眼严重程度分类任务中最有效的深度学习架构。
• 验证深度学习可否可靠地利用临床眼底影像对青光眼严重程度进行分级。

提出的方法

• 回顾性收集5,978张由两位眼科专家标注青光眼严重程度的眼底图像。
• 图像预处理以提取全视野和局部视盘感兴趣区域（ROI）图像块。
• 将数据集按独立的训练、验证和测试子集划分，适用于每种ROI类型。
• 在全局和局部ROI上分别训练八种预训练和随机初始化的卷积神经网络（VGG16、VGG19、ResNet、DenseNet、InceptionV3、InceptionResNet、Xception、NASNetMobile）。
• 使用ROC曲线下面积和二次加权κ系数评估模型性能，以衡量评分者间的一致性。
• 比较不同架构及训练策略（从零开始训练 vs. 微调）下的性能表现。

实验结果

研究问题

• RQ1 哪种深度学习架构在从眼底图像中分类青光眼严重程度方面表现最佳？
• RQ2 使用全视野图像是否比使用局部视盘区域能获得更好的分类性能？
• RQ3 与从零开始训练相比，使用预训练权重进行微调如何影响模型性能？
• RQ4 VGG系列模型在使用预训练权重时是否保持一致的性能表现，还是在某些场景下表现失败？
• RQ5 当应用于全局与局部ROI时，不同模型之间是否存在显著的性能差异？

主要发现

• 当在全局ROI上使用预训练权重时，DenseNet达到最高的分类准确率75.50%，而在局部ROI上仅为65.50%。
• 微调模型的平均κ系数更高（全局ROI为85.29%，局部ROI为82.72%），高于从零开始训练的模型（分别为80.36%和78.22%）。
• VGG16和VGG19在从零开始训练时表现尚可，但在使用预训练权重时，无论在全局还是局部ROI上均表现失败。
• 全视野图像在所有模型中均表现出更一致的优越性能，表明其在青光眼严重程度评估中蕴含更丰富的诊断信息。
• 表现最佳的模型（DenseNet在全局ROI上进行微调）达到85.29%的二次加权κ系数。
• 本研究证实了利用标准眼底影像进行自动化青光眼严重程度分级在深度学习方法上的可行性。