[论文解读] Optimizing and Visualizing Deep Learning for Benign/Malignant Classification in Breast Tumors

Darvin Yi, Rebecca Lynn Sawyer+5 more|arXiv (Cornell University)|May 17, 2017

AI in cancer detection参考文献 12被引用 49

一句话总结

本研究将深度学习应用于全钼靶图像以实现良恶性肿瘤分类，采用GoogLeNet架构对DDSM数据集的1,000例患者子集进行处理。模型达到85%的准确率和0.91的AUC，优于手工设计特征方法，并提出一种新颖的可视化技术，揭示了如毛刺征等临床相关特征，验证了模型的可解释性与诊断相关性。

ABSTRACT

Breast cancer has the highest incidence and second highest mortality rate for women in the US. Our study aims to utilize deep learning for benign/malignant classification of mammogram tumors using a subset of cases from the Digital Database of Screening Mammography (DDSM). Though it was a small dataset from the view of Deep Learning (about 1000 patients), we show that currently state of the art architectures of deep learning can find a robust signal, even when trained from scratch. Using convolutional neural networks (CNNs), we are able to achieve an accuracy of 85% and an ROC AUC of 0.91, while leading hand-crafted feature based methods are only able to achieve an accuracy of 71%. We investigate an amalgamation of architectures to show that our best result is reached with an ensemble of the lightweight GoogLe Nets tasked with interpreting both the coronal caudal view and the mediolateral oblique view, simply averaging the probability scores of both views to make the final prediction. In addition, we have created a novel method to visualize what features the neural network detects for the benign/malignant classification, and have correlated those features with well known radiological features, such as spiculation. Our algorithm significantly improves existing classification methods for mammography lesions and identifies features that correlate with established clinical markers.

研究动机与目标

• 利用有限的全钼靶数据，通过深度学习提升乳腺癌筛查中良恶性分类的性能。
• 通过数据驱动的深度学习方法，克服CAD系统中手工设计特征的局限性。
• 开发一种可视化方法，通过将学习到的特征与已知的放射学标志物关联，解释深度学习的决策过程。
• 证明深度神经网络能够学习到如毛刺征等临床相关特征，从而增强可信度与临床适用性。
• 评估结合多个视图（CC和MLO）的集成模型，以提升分类的鲁棒性。

提出的方法

• 在全数字化筛查乳腺X线摄影数据库（DDSM）的1,000例患者子集上，从零开始训练轻量级GoogLeNet架构。
• 通过平均CC（头尾位）和MLO（内外斜位）视图的独立模型输出的概率分数，整合两类视图的预测结果。
• 采用GoogLeNet模型的集成方法，以降低方差并提升在有限数据上的泛化能力。
• 开发一种新颖的可视化技术——定向梦境（Directed Dream），通过迭代随机梯度上升生成最大化类别得分的图像。
• 在定向梦境过程的每一步迭代中，可视化显著性图，以揭示网络学习到的高层特征。
• 将生成的视觉幻觉与已知的放射学特征（如毛刺征）进行关联，以验证其临床相关性。

实验结果

研究问题

• RQ1 最先进的深度学习模型能否在小规模全钼靶数据集上实现良恶性分类的稳健性能？
• RQ2 与单视图模型相比，跨多个影像视图（CC和MLO）的集成建模在分类性能上是否有所提升？
• RQ3 深度学习模型能否学习到与乳腺X线摄影中临床公认标志物（如毛刺征）相对应的特征？
• RQ4 可视化技术（如定向梦境）在多大程度上能够揭示深度神经网络决策过程中有意义且可解释的特征？
• RQ5 通过共享模型架构整合多个视图，是否能改善特征共享并提升分类准确率？

主要发现

• 深度学习模型在1,000例全钼靶图像数据集上达到85%的准确率和0.91的ROC AUC，显著优于手工特征方法（71%准确率）。
• 采用GoogLeNet在CC和MLO视图上进行集成建模，并通过平均概率分数，获得最佳性能，表明跨视图共享特征学习具有优势。
• 定向梦境可视化方法生成了明显模式：恶性病例呈现出类似星爆状的毛刺样模式，与恶性肿瘤的典型放射学标志高度相似。
• 良性病例的可视化结果呈现出‘星夜’效应，表现为圆形、集中的明亮区域，与恶性模式形成鲜明对比，表明其特征优先级相反。
• 恶性病例中可视化出的特征与临床上重要的毛刺征高度相关，验证了模型学习到具有诊断意义模式的能力。
• 迭代式可视化过程揭示了比单步显著性图更高级的抽象特征，表明深度网络能够学习到与专家知识一致的复杂、可解释的特征。