[论文解读] The relationship between Fully Connected Layers and number of classes for the analysis of retinal images

Ajna Ram, Constantino Carlos Reyes‐Aldasoro|arXiv (Cornell University)|Apr 7, 2020

Retinal Imaging and Analysis参考文献 11被引用 14

一句话总结

本研究探讨了卷积神经网络（CNN）中全连接（FC）层数量对ODIR-2019数据集视网膜眼底图像分类性能的影响，重点关注四种类别：正常、白内障、年龄相关性黄斑变性（AMD）和近视。研究发现，在复杂且重叠的数据上，增加FC层会损害性能，网络常坍塌为单类预测；而在线性可分的简单数据上，额外的FC层可能带来益处。

ABSTRACT

This paper experiments with the number of fully-connected layers in a deep convolutional neural network as applied to the classification of fundus retinal images. The images analysed corresponded to the ODIR 2019 (Peking University International Competition on Ocular Disease Intelligent Recognition) [9], which included images of various eye diseases (cataract, glaucoma, myopia, diabetic retinopathy, age-related macular degeneration (AMD), hypertension) as well as normal cases. This work focused on the classification of Normal, Cataract, AMD and Myopia. The feature extraction (convolutional) part of the neural network is kept the same while the feature mapping (linear) part of the network is changed. Different data sets are also explored on these neural nets. Each data set differs from another by the number of classes it has. This paper hence aims to find the relationship between number of classes and number of fully-connected layers. It was found out that the effect of increasing the number of fully-connected layers of a neural networks depends on the type of data set being used. For simple, linearly separable data sets, addition of fully-connected layer is something that should be explored and that could result in better training accuracy, but a direct correlation was not found. However as complexity of the data set goes up(more overlapping classes), increasing the number of fully-connected layers causes the neural network to stop learning. This phenomenon happens quicker the more complex the data set is.

研究动机与目标

• 分析全连接（FC）层数量与卷积神经网络（CNN）在视网膜图像分析中分类准确率之间的关系。
• 评估数据复杂性（通过类别数量和重叠程度衡量）对额外FC层实用性的影晌。
• 确定增加FC层是否能改善特征映射，还是导致深层网络训练不稳定。
• 在具有不同类别数量的多个数据子集（两分类（NC）、三分类（NCA）和四分类（NCAM）配置）之间比较网络性能。
• 确定视网膜疾病分类的最优FC层配置，特别是针对AMD和近视等具有挑战性的类别。

提出的方法

• 在视网膜图像数据上训练多个具有相同卷积特征提取器但FC层数量不同的CNN架构（2至6层）。
• 使用ODIR-2019数据集，仅选取四种类别：正常、白内障、年龄相关性黄斑变性（AMD）和近视。
• 在三个数据划分上评估模型：NC（两分类）、NCA（三分类）和NCAM（四分类），每种划分具有不同的类别可分性。
• 使用标准指标测量性能：准确率、精确率、召回率、F1分数以及真正例/假正例/真负例/假负例数量。
• 监控训练行为，包括收敛性和单类预测异常，以检测网络坍塌。
• 报告多次运行下的平均准确率和各类别指标，以确保结果的稳健性。

实验结果

研究问题

• RQ1 在视网膜图像分析的CNN中，增加全连接层数量如何影响分类准确率？
• RQ2 额外FC层对性能的影响是否随数据复杂性和类别重叠程度而变化？
• RQ3 在什么情况下，额外的FC层开始降低模型性能或导致训练失败？
• RQ4 对于非线性不可分的视网膜疾病类别，更多的FC层能否改善特征映射？
• RQ5 为何某些网络在训练过程中会坍塌为仅预测单一类别？这与FC层数量和数据复杂性有何关联？

主要发现

• 对于两分类NC数据集（正常 vs. 白内障），该数据集线性可分，增加FC层并未降低性能，训练准确率保持较高水平（NN-2最高达81.3%）。
• 在三分类NCA数据集（正常、白内障、AMD）中，表现最佳的网络为NN-2（2个FC层），平均准确率达到0.858，而具有更多FC层的网络（如NN-3、NN-4）性能显著下降。
• 在四分类NCAM数据集（正常、白内障、AMD、近视）中，NN-2达到最高平均准确率0.883，而NN-3、NN-4和NN-6均坍塌为单类预测，准确率仅为25%。
• 具有更多FC层的网络（尤其是NN-3、NN-4、NN-6）表现出严重的训练不稳定性，频繁在训练中仅预测一类，表明未能学习到类别之间的区分。
• NN-5表现出异常行为，在NCAM上准确率为53%，尽管对白内障的精确率（0.948）和召回率（0.702）较高，但对正常、AMD和近视类别的泛化能力差。
• 本研究未发现FC层数量与准确率之间存在直接相关性，但观察到随着FC层增加，复杂且重叠的数据性能持续下降，且随着类别复杂性增加，网络坍塌发生得更快。