[论文解读] RADIFUSION: A multi-radiomics deep learning based breast cancer risk prediction model using sequential mammographic images with image attention and bilateral asymmetry refinement

Hong Hui Yeoh, Andrea Liew+6 more|arXiv (Cornell University)|Apr 1, 2023

Radiomics and Machine Learning in Medical Imaging被引用 4

一句话总结

RADIFUSION 是一种深度学习模型，通过整合连续乳腺X线摄影、图像注意力机制、放射组学特征、用于多视角融合的门控机制以及基于双侧对称性的微调，提升了乳腺癌风险预测的准确性。在CSAW数据集上，其1年、2年及>2年风险预测的AUC分别达到0.905、0.872和0.866，优于现有最先进模型。

ABSTRACT

Breast cancer is a significant public health concern and early detection is critical for triaging high risk patients. Sequential screening mammograms can provide important spatiotemporal information about changes in breast tissue over time. In this study, we propose a deep learning architecture called RADIFUSION that utilizes sequential mammograms and incorporates a linear image attention mechanism, radiomic features, a new gating mechanism to combine different mammographic views, and bilateral asymmetry-based finetuning for breast cancer risk assessment. We evaluate our model on a screening dataset called Cohort of Screen-Aged Women (CSAW) dataset. Based on results obtained on the independent testing set consisting of 1,749 women, our approach achieved superior performance compared to other state-of-the-art models with area under the receiver operating characteristic curves (AUCs) of 0.905, 0.872 and 0.866 in the three respective metrics of 1-year AUC, 2-year AUC and > 2-year AUC. Our study highlights the importance of incorporating various deep learning mechanisms, such as image attention, radiomic features, gating mechanism, and bilateral asymmetry-based fine-tuning, to improve the accuracy of breast cancer risk assessment. We also demonstrate that our model's performance was enhanced by leveraging spatiotemporal information from sequential mammograms. Our findings suggest that RADIFUSION can provide clinicians with a powerful tool for breast cancer risk assessment.

研究动机与目标

• 通过利用连续筛查乳腺X线摄影中的时空变化，提升乳腺癌风险预测的准确性。
• 将放射组学特征与深度学习相结合，以增强特征表示能力。
• 开发一种新型门控机制，以实现对不同乳腺X线摄影视角（斜侧位和头颅尾位）的最优融合。
• 通过基于双侧对称性的分析作为监督信号，优化模型性能。
• 在真实世界筛查队列中，与现有最先进模型相比，展示出更优的预测性能。

提出的方法

• 该模型采用多放射组学深度学习架构，处理来自两种标准视角（斜侧位MLO和头颅尾位CC）的连续乳腺X线图像。
• 应用图像注意力机制以突出乳腺X线图像中的临床相关区域，提升特征学习能力与可解释性。
• 从分割后的乳腺区域提取的放射组学特征与深度特征拼接，以丰富表示学习。
• 可学习的门控机制动态融合MLO与CC视角的特征，根据预测相关性优化各视角的贡献。
• 通过在成对的左右乳腺X线差异图像上进行训练，引入基于双侧对称性的微调策略，提升对与早期癌症相关的细微不对称性的敏感性。
• 模型在Cohort of Screen-Aged Women（CSAW）数据集上进行训练与验证，性能通过时间-事件AUC指标进行评估。

实验结果

研究问题

• RQ1 与单时间点模型相比，整合连续乳腺X线图像是否能提升长期乳腺癌风险预测的准确性？
• RQ2 引入放射组学特征与图像注意力机制，如何增强模型检测早期恶性变化的能力？
• RQ3 在融合MLO与CC乳腺X线视角信息时，视角特定的门控机制在多大程度上提升了模型性能？
• RQ4 基于双侧对称性的微调是否显著提升了预测性能，从而捕捉到提示早期疾病存在的细微组织不对称性？
• RQ5 在多个时间窗口（1年、2年、>2年）下，RADIFUSION与最先进模型相比，AUC表现如何？

主要发现

• RADIFUSION在1年乳腺癌风险预测中达到0.905的AUC，显著优于现有模型。
• 该模型在2年和>2年风险预测中的AUC分别为0.872和0.866，表明其在不同时间窗口下均保持一致的高性能表现。
• 图像注意力机制的引入使模型更聚焦于可疑区域，从而增强了判别能力。
• 基于双侧对称性的微调策略显著提升了模型性能，通过利用单张图像中不可见的细微不对称性。
• 门控机制有效平衡了MLO与CC视角的贡献，模型学习到根据患者情况优先选择更具信息量的视角。
• 在包含1,749名女性的独立测试集中，模型表现稳健，证实了其泛化能力与临床应用潜力。