[论文解读] Multimodal classification of Radiation-Induced Contrast Enhancements and tumor recurrence using deep learning

Robin Peretzke, Marlin Hanstein+16 more|arXiv (Cornell University)|Mar 12, 2026

Glioma Diagnosis and Treatment被引用 0

一句话总结

RICE-Net 是一个多模态的三维深度学习模型，通过将纵向 MRI 数据与放射治疗剂量图整合，区分辐射引起的对比增强与胶质母细胞瘤再发，在独立测试集上实现 0.92 的宏 F1。

ABSTRACT

The differentiation between tumor recurrence and radiation-induced contrast enhancements in post-treatment glioblastoma patients remains a major clinical challenge. Existing approaches rely on clinically sparsely available diffusion MRI or do not consider radiation maps, which are gaining increasing interest in the tumor board for this differentiation. We introduce RICE-NET, a multimodal 3D deep learning model that integrates longitudinal MRI data with radiotherapy dose distributions for automated lesion classification using conventional T1-weighted MRI data. Using a cohort of 92 patients, the model achieved an F1 score of 0.92 on an independent test set. During extensive ablation experiments, we quantified the contribution of each timepoint and modality and showed that reliable classification largely depends on the radiation map. Occlusion-based interpretability analyses further confirmed the model's focus on clinically relevant regions. These findings highlight the potential of multimodal deep learning to enhance diagnostic accuracy and support clinical decision-making in neuro-oncology.

研究动机与目标

• 区分治疗后 GBM 患者中的辐射引起的对比增强（RICE）与肿瘤再发。
• 将纵向 MRI 数据和放射治疗剂量分布纳入模型以提高诊断准确性。
• 量化每种模态的贡献并识别最具信息量的输入。
• 通过遮挡分析提供对模型关注点的可解释洞察。
• 强调在神经肿瘏领域早期、自动化决策支持的潜力。

提出的方法

• 使用适用于体积医学影像的 3D ResNet-18 架构。
• 通过通道级融合整合三种输入模态：术后 MRI（MRI post-OP）、对比事件 MRI（MRI event）和放射剂量（RD）图。
• 数据预处理包括 ANTS 配准、HD-BET 颅骨剥离、z-score 标准化，并裁剪到 224x224x224 体素。
• 以 800 个 Epoch、五折交叉验证、Adam 优化器和类别平衡采样进行训练。
• 主要以宏 F1-score 评估，并进行基于遮挡的可解释性分析。
• 通过对输入模态及其组合的消融研究量化每种模态的贡献。

Figure 1 : Axial slice of sample subject with tumor recurrence. On the left, the post-operative MRI with the resection area highlighted with a red circle. The middle image shows the new progression, which is to be classified as recurrence or RICE. On the right, the radiation treatment plan is displa

实验结果

研究问题

• RQ1 该模型能否在使用常规 T1 加权 MRI 与放射剂量图的条件下区分 RICE 与肿瘤再发？
• RQ2 每种输入模态（MRI post-OP、MRI event、RD）对该任务的相对诊断价值是多少？
• RQ3 将放射剂量与 MRI 数据结合是否比仅使用 MRI 数据提高分类性能？
• RQ4 模型在区分 RICE 与再发时关注的区域在哪里，是否具有临床意义？

主要发现

• RD 图单独得到的单模态最高验证宏 F1 为 0.78。
• MRI post-OP 与 MRI event 单独的 F1 分别为 0.70 和 0.58，较低。
• RD+MRI post-OP 达到 0.828，RD+MRI event 达到 0.83，三者输入均衡时的验证 F1 为 0.804。
• 在独立测试集上，经过交叉验证的模型集合实现了 0.916 的宏 F1。
• 消融结果显示放射剂量信息高度信息化，且模态组合带来互补增益。
• 遮挡分析强调高剂量区域和临床相关区域，支持模型关注于有意义的区域。

Figure 2 : F1 Macro after 800 training epochs on validation data (striped) aggregated across all folds and majority vote on the test data (dotted) by input volume combinations with cross validation standard deviation as error bars.