[论文解读] Validation of a deep learning mammography model in a population with low screening rates

Kevin Wu, Eric Hsiao‐Kuang Wu+5 more|arXiv (Cornell University)|Nov 1, 2019

AI in cancer detection参考文献 17被引用 5

一句话总结

本研究在中国低筛查人群中验证了基于美国和英国数据训练的深度学习乳腺X线摄影模型，展示了其出色的泛化能力，AUCROC分别为0.93和0.90（在匹配肿瘤大小后）。研究进一步提出了一种基于方差的不确定性过滤方法，通过将模糊病例转介给放射科医生，提升了模型性能。

ABSTRACT

A key promise of AI applications in healthcare is in increasing access to quality medical care in under-served populations and emerging markets. However, deep learning models are often only trained on data from advantaged populations that have the infrastructure and resources required for large-scale data collection. In this paper, we aim to empirically investigate the potential impact of such biases on breast cancer detection in mammograms. We specifically explore how a deep learning algorithm trained on screening mammograms from the US and UK generalizes to mammograms collected at a hospital in China, where screening is not widely implemented. For the evaluation, we use a top-scoring model developed for the Digital Mammography DREAM Challenge. Despite the change in institution and population composition, we find that the model generalizes well, exhibiting similar performance to that achieved in the DREAM Challenge, even when controlling for tumor size. We also illustrate a simple but effective method for filtering predictions based on model variance, which can be particularly useful for deployment in new settings. While there are many components in developing a clinically effective system, these results represent a promising step towards increasing access to life-saving screening mammography in populations where screening rates are currently low.

研究动机与目标

• 评估在高收入国家（美国和英国）数据上训练的先进深度学习乳腺X线摄影模型是否能有效泛化至中国低筛查人群。
• 在筛查基础设施有限的真实临床环境中，评估模型在不同乳腺密度和肿瘤大小下的表现。
• 探究模型集成方差是否可作为识别新部署环境中不确定预测的实用指标。
• 通过模拟具有高敏感性和高特异性的筛查流程，探索在低资源环境中使用人工智能进行分诊的可行性。

提出的方法

• 模型采用两阶段训练流程：首先在DDSM和Optimam数据集的图像块数据上使用MobileNet架构进行训练，然后在全幅乳腺X线图像上进行端到端微调。
• 采用三个模型的集成，通过在垂直方向翻转图像和在前后位（CC）与斜位（MLO）视图之间平均预测结果，研究级得分基于双侧最大值生成。
• 通过计算三个模型和两种图像方向下预测分数的方差来量化模型不确定性，并将其作为高方差病例的过滤标准。
• 在包含2,533例病例的中国数据集上使用AUCROC评估性能，并按肿瘤大小、乳腺密度和病灶类型进行亚组分析。
• 采用自助抽样法匹配美国的肿瘤大小分布，以实现与DREAM挑战赛结果的公平比较。

实验结果

研究问题

• RQ1 在高收入国家数据上训练的深度学习乳腺X线摄影模型是否能有效泛化至中国低筛查人群？
• RQ2 在真实临床环境中，模型性能在不同肿瘤大小和乳腺密度类别中如何变化？
• RQ3 模型集成方差是否可作为预测不确定性的可靠代理指标，从而指导新部署环境中的临床分诊？
• RQ4 在新人群中，过滤高方差预测在多大程度上能提升整体诊断性能？

主要发现

• 该模型在中国数据集上对乳腺水平癌症检测的AUCROC为0.93 ± 0.01，与原始DREAM挑战赛中的表现非常接近。
• 通过自助模拟控制肿瘤大小后，模型的AUCROC保持在0.90 ± 0.03，表明其在人口统计学和影像差异方面具有强大的泛化能力。
• 模型在致密型乳腺中的表现略低（AUCROC 0.914），相较于非致密型乳腺（AUCROC 0.946），该差异与DREAM挑战赛结果一致。
• 排除高预测方差的病例可提升AUCROC，其中在按不确定性过滤前40%的病例时，增益最为显著。
• 良性病例的平均模型方差最高，其次是正常病例和恶性病例，表明良性病灶对模型的分类一致性更具挑战性。