[论文解读] TRk-CNN: Transferable Ranking-CNN for image classification of glaucoma, glaucoma suspect, and normal eyes

Tae Joon Jun, Youngsub Eom+5 more|arXiv (Cornell University)|May 16, 2019

Retinal Imaging and Analysis参考文献 37被引用 4

一句话总结

本文提出TRk-CNN，一种可迁移的排序卷积神经网络，通过建模疾病阶段之间的序数关系，提升了对青光眼、青光眼可疑及正常眼的分类性能。通过将原始分类得分与学习到的权重相结合，TRk-CNN实现了92.96%的平均准确率，相较于标准多分类CNN和Ranking-CNN分别提高了8.04%和9.54%，在青光眼可疑病例的敏感性上提升了26.83%。

ABSTRACT

In this paper, we proposed Transferable Ranking Convolutional Neural Network (TRk-CNN) that can be effectively applied when the classes of images to be classified show a high correlation with each other. The multi-class classification method based on the softmax function, which is generally used, is not effective in this case because the inter-class relationship is ignored. Although there is a Ranking-CNN that takes into account the ordinal classes, it cannot reflect the inter-class relationship to the final prediction. TRk-CNN, on the other hand, combines the weights of the primitive classification model to reflect the inter-class information to the final classification phase. We evaluated TRk-CNN in glaucoma image dataset that was labeled into three classes: normal, glaucoma suspect, and glaucoma eyes. Based on the literature we surveyed, this study is the first to classify three status of glaucoma fundus image dataset into three different classes. We compared the evaluation results of TRk-CNN with Ranking-CNN (Rk-CNN) and multi-class CNN (MC-CNN) using the DenseNet as the backbone CNN model. As a result, TRk-CNN achieved an average accuracy of 92.96%, specificity of 93.33%, sensitivity for glaucoma suspect of 95.12% and sensitivity for glaucoma of 93.98%. Based on average accuracy, TRk-CNN is 8.04% and 9.54% higher than Rk-CNN and MC-CNN and surprisingly 26.83% higher for sensitivity for suspicious than multi-class CNN. Our TRk-CNN is expected to be effectively applied to the medical image classification problem where the disease state is continuous and increases in the positive class direction.

研究动机与目标

• 为解决标准多分类CNN在建模医学图像类别之间序数关系（如正常、青光眼可疑和青光眼）方面的局限性。
• 提升在疾病状态沿正向连续进展的医学影像任务中的分类性能。
• 开发一种方法，有效将类别间关系整合到最终预测阶段，克服现有Ranking-CNN方法的不足。
• 在韩国大学医学中心收集的新型三类青光眼眼底图像数据集上，展示TRk-CNN的有效性。

提出的方法

• TRk-CNN采用两阶段流程：使用N−1个二分类器对类别之间的序数关系进行预测。
• 每个原始分类器生成类激活图（CAM），以定位具有区分性的区域，如视盘和杯状区域。
• 通过学习各原始分类器输出的加权融合，聚合所有分类器的预测结果，从而保留类别间的序数信息。
• 采用DenseNet主干网络进行特征提取，并从二分类子分类器中移除全连接层，以保持空间定位能力。
• 最终分类得分通过原始分类器输出的加权和计算得出，支持端到端的反向传播训练。
• 该方法在包含三类临床相关类别的真实世界眼底图像数据集上进行训练与评估：正常、青光眼可疑和青光眼。

实验结果

研究问题

• RQ1 是否能够通过显式建模疾病阶段之间序数关系的深度学习模型，提升医学图像分析中的分类性能？
• RQ2 TRk-CNN在对具有三个渐进阶段的青光眼进行分类时，相较于标准多分类CNN和Ranking-CNN表现如何？
• RQ3 通过学习权重融合整合类别间关系，在多大程度上提升了对中间疾病状态（如青光眼可疑）的敏感性？
• RQ4 所提出的方法在青光眼图像中的不同感兴趣区域（如视盘、杯状区域和原始眼底区域）上是否具有良好的泛化能力？
• RQ5 TRk-CNN是否能在具有临床意义的三类标注的真实世界青光眼眼底数据集上实现更优性能？

主要发现

• TRk-CNN实现了92.96%的平均准确率，显著高于Rk-CNN（84.92%）和MC-CNN（83.42%）分别8.04和9.54个百分点。
• 青光眼可疑分类的敏感性达到95.12%，相较于多分类CNN基线提高了26.83%。
• 特异性为93.33%，表明在正确识别非患病病例方面表现优异。
• 即使在更深的卷积层中，模型在视盘和杯状区域也表现出稳健的特征激活，证实了对疾病相关解剖结构的有效定位。
• 可视化结果表明，即使仅对视盘区域进行人工标注，模型也能自动强调如杯状区域等病理性区域。
• 表现最佳的子模型并不总能产生最优的最终结果，凸显了在最终分类阶段进行集成加权的重要性。