[论文解读] The effect of data augmentation and 3D-CNN depth on Alzheimer's Disease detection

Rosanna Turrisi, Alessandro Verri+1 more|arXiv (Cornell University)|Sep 13, 2023

Medical Imaging and AnalysisEngineering被引用 3

一句话总结

本研究探讨了使用ADNI数据集中的MRI扫描图像进行阿尔茨海默病（AD）检测时，数据增强方法与3D-CNN深度的影响。通过采用k折交叉验证、多次训练试验及严谨的实验设计，作者表明，分别应用仿射变换（策略B）以及采用8层卷积层的模型可达到最高准确率（测试集准确率为81.95%），且性能因数据增强和深度选择的不同而波动高达10%。

ABSTRACT

Machine Learning (ML) has emerged as a promising approach in healthcare, outperforming traditional statistical techniques. However, to establish ML as a reliable tool in clinical practice, adherence to best practices regarding data handling, experimental design, and model evaluation is crucial. This work summarizes and strictly observes such practices to ensure reproducible and reliable ML. Specifically, we focus on Alzheimer's Disease (AD) detection, which serves as a paradigmatic example of challenging problem in healthcare. We investigate the impact of different data augmentation techniques and model complexity on the overall performance. We consider MRI data from ADNI dataset to address a classification problem employing 3D Convolutional Neural Network (CNN). The experiments are designed to compensate for data scarcity and initial random parameters by utilizing cross-validation and multiple training trials. Within this framework, we train 15 predictive models, considering three different data augmentation strategies and five distinct 3D CNN architectures, each varying in the number of convolutional layers. Specifically, the augmentation strategies are based on affine transformations, such as zoom, shift, and rotation, applied concurrently or separately. The combined effect of data augmentation and model complexity leads to a variation in prediction performance up to 10% of accuracy. When affine transformation are applied separately, the model is more accurate, independently from the adopted architecture. For all strategies, the model accuracy followed a concave behavior at increasing number of convolutional layers, peaking at an intermediate value of layers. The best model (8 CL, (B)) is the most stable across cross-validation folds and training trials, reaching excellent performance both on the testing set and on an external test set.

研究动机与目标

• 评估不同数据增强策略对3D-CNN在阿尔茨海默病检测中性能的影响。
• 研究模型深度（卷积层数量）对分类准确率与泛化能力的影响。
• 通过采用交叉验证与多次训练试验等严谨实验方法，确保结果的可复现性与鲁棒性。
• 在外部数据上测试模型的泛化能力，特别是面对领域偏移（如3T与1.5T MRI扫描）的情况。
• 提供一个公开可用、可复现的流程，用于基于深度学习的AD检测基准测试。

提出的方法

• 使用ADNI数据集中1.5T的T1加权MRI扫描图像，对阿尔茨海默病（AD）与认知正常（CN）受试者进行二分类。
• 采用不同深度（4至12层）的3D卷积神经网络（3D-CNNs），以评估模型复杂度的影响。
• 应用三种数据增强策略：（A）无增强，（B）分别应用仿射变换（缩放、平移、旋转），（C）同时应用所有变换。
• 通过组合五种网络深度与三种增强策略，构建15种不同模型，采用k折交叉验证与多次随机权重初始化。
• 使用准确率、各折与各试验间的标准差进行模型性能评估，并在外部3T MRI测试集上测试泛化能力。
• 通过代码版本控制、公开数据划分方式以及发布所选样本列表，确保实验可复现性。

Figure 1: MRI collection in ADNI dataset. Schema representing ADNI phases (ADNI1, ADNI GO, ADNI2, ADNI3). Different phases include a variable proportion of subjects: circles represent CN subjects, triangles represent Mild Cognitive Impaired (MCI), early MCI (EMCI) or late MCI (LMCI) subjects and squ

实验结果

研究问题

• RQ1 数据增强策略的选择（分别应用与同时应用仿射变换）如何影响3D-CNN在AD检测中的性能？
• RQ2 在使用有限MRI数据进行AD与CN分类时，3D-CNN的最佳深度（卷积层数量）是多少？
• RQ3 模型深度如何影响性能？深度与准确率之间是否存在凹形关系？
• RQ4 性能最佳的模型是否能泛化到具有不同扫描参数（如3T与1.5T MRI）的外部数据？
• RQ5 在临床机器学习应用中，严谨的实验实践（如交叉验证与多次试验）在多大程度上提升了模型的稳定性与可靠性？

主要发现

• 8层卷积层与分别应用仿射变换（策略B）的组合在测试集中实现了最高准确率81.95% ± 1.26%，优于其他配置。
• 性能因数据增强与模型深度的组合不同而波动最高达10%，凸显了这些设计选择的关键作用。
• 随着深度增加，模型准确率呈现凹形趋势，峰值出现在8层，表明在数据有限的情况下，更深的网络并不总是泛化得更好。
• 策略B（分别应用变换）始终优于策略C（同时应用变换），表明逐个应用变换可能更具有效性。
• 8层卷积层、策略B的模型在交叉验证折与训练试验中均表现出最高稳定性，验证准确率为87.21% ± 0.88%。
• 在外部3T MRI测试集中，最佳模型实现了71%的准确率，表明其在存在分辨率差异的领域偏移下仍具备良好的泛化能力。

Figure 2: 2D visualization of 3D MRI scans. Axial, coronal and sagittal planes of two brain images from ADNI dataset.