[论文解读] SCREENet: A Multi-view Deep Convolutional Neural Network for Classification of High-resolution Synthetic Mammographic Screening Scans

Saeed Seyyedi, Margaret J. Wong+2 more|arXiv (Cornell University)|Sep 18, 2020

AI in cancer detection参考文献 26被引用 8

一句话总结

SCREENet 是一种多视角深度卷积神经网络（MV-CNN），可在不进行图像下采样的情况下，将数字乳腺断层摄影（DBT）生成的高分辨率合成乳腺X线片分类为 BI-RADS 分类。其在区分 BI-RADS 0（正常）与非 BI-RADS 0（异常或需进一步检查）时的 AUC 达到 0.912，但当在较小数据集或低分辨率图像上训练时，性能显著下降。

ABSTRACT

Purpose: To develop and evaluate the accuracy of a multi-view deep learning approach to the analysis of high-resolution synthetic mammograms from digital breast tomosynthesis screening cases, and to assess the effect on accuracy of image resolution and training set size. Materials and Methods: In a retrospective study, 21,264 screening digital breast tomosynthesis (DBT) exams obtained at our institution were collected along with associated radiology reports. The 2D synthetic mammographic images from these exams, with varying resolutions and data set sizes, were used to train a multi-view deep convolutional neural network (MV-CNN) to classify screening images into BI-RADS classes (BI-RADS 0, 1 and 2) before evaluation on a held-out set of exams. Results: Area under the receiver operating characteristic curve (AUC) for BI-RADS 0 vs non-BI-RADS 0 class was 0.912 for the MV-CNN trained on the full dataset. The model obtained accuracy of 84.8%, recall of 95.9% and precision of 95.0%. This AUC value decreased when the same model was trained with 50% and 25% of images (AUC = 0.877, P=0.010 and 0.834, P=0.009 respectively). Also, the performance dropped when the same model was trained using images that were under-sampled by 1/2 and 1/4 (AUC = 0.870, P=0.011 and 0.813, P=0.009 respectively). Conclusion: This deep learning model classified high-resolution synthetic mammography scans into normal vs needing further workup using tens of thousands of high-resolution images. Smaller training data sets and lower resolution images both caused significant decrease in performance.

研究动机与目标

• 开发一种深度学习模型，将数字乳腺断层摄影（DBT）生成的高分辨率合成乳腺X线片分类为 BI-RADS 分类。
• 评估图像分辨率和训练数据集大小对模型性能的影响。
• 构建一个端到端的多视角深度学习系统，处理全分辨率图像，无需下采样或手动参数调整。
• 通过自动化筛查扫描的分类（正常 vs. 需进一步检查）来支持放射科医生。
• 评估利用数万个高分辨率 DBT 图像训练稳健分类模型的可行性。

提出的方法

• 在 21,264 例 DBT 筛查检查生成的 82,943 幅高分辨率合成 2D 乳腺X线片上训练多视角卷积神经网络（MV-CNN）。
• 采用多视角架构，独立处理头尾位（CC）和中外斜位（MLO）视图，随后进行特征融合以实现分类。
• 在整个训练过程中保留原始图像分辨率，避免下采样以保留细微解剖细节。
• 应用全局平均池化和 Softmax 分类，将每例病例分配至 BI-RADS 0、1 或 2 类。
• 使用受试者工作特征曲线下面积（AUC）、准确率、召回率和精确率在保留的测试集上评估模型性能。
• 通过系统性减少训练数据集大小（25%、50%）和图像分辨率（1/4×、1/2×）进行消融研究，以评估模型鲁棒性。

实验结果

研究问题

• RQ1 多视角深度 CNN 是否能在将 DBT 生成的高分辨率合成乳腺X线片分类为 BI-RADS 分类时实现高性能？
• RQ2 减少训练数据集大小如何影响模型的分类性能？
• RQ3 图像分辨率对模型区分正常与异常筛查病例的能力有何影响？
• RQ4 模型是否能在不进行下采样或用户定义参数的情况下保持高性能？
• RQ5 与放射科医生评估相比，模型的预测在 AUC、召回率和精确率方面表现如何？

主要发现

• MV-CNN 在将 BI-RADS 0（正常）与非 BI-RADS 0（异常或需进一步检查）分类时，AUC 达到 0.912，准确率为 84.8%，召回率为 95.9%，精确率为 95.0%。
• 将训练数据集减少至 50% 时，AUC 显著下降至 0.877（p=0.010）；减少至 25% 时，AUC 降至 0.834（p=0.009），表明对数据量有强依赖性。
• 将图像下采样至 1/2 分辨率时，AUC 降至 0.870（p=0.011）；下采样至 1/4 分辨率时，AUC 降至 0.813（p=0.009），表明对分辨率敏感。
• 当图像下采样导致特征图尺寸小于卷积核大小时，性能下降，导致部分卷积层被跳过。
• 模型的显著性图突出了在异常病例中对预测贡献最大的区域，支持模型可解释性。
• 本研究表明，高性能需要数万个高分辨率图像，数据量和分辨率均为关键因素。