[论文解读] SMU-Net : Style matching U-Net for brain tumor segmentation with missing modalities

Reza Azad, Nika Khosravi+1 more|arXiv (Cornell University)|Jan 1, 2022

Brain Tumor Detection and Classification被引用 20

一句话总结

SMU-Net 提出了一种协同训练的 U-Net 架构，通过内容-风格匹配，将全模态脑肿瘤分割模型中的信息性特征蒸馏到缺失模态网络中。通过将特征分解为内容和风格表征，并应用对抗性风格匹配，该方法在 BraTS 2018 上实现了最先进性能，在单模态场景下相比先前方法最高提升达 20%。

ABSTRACT

Gliomas are one of the most prevalent types of primary brain tumours, accounting for more than 30\% of all cases and they develop from the glial stem or progenitor cells. In theory, the majority of brain tumours could well be identified exclusively by the use of Magnetic Resonance Imaging (MRI). Each MRI modality delivers distinct information on the soft tissue of the human brain and integrating all of them would provide comprehensive data for the accurate segmentation of the glioma, which is crucial for the patient's prognosis, diagnosis, and determining the best follow-up treatment. Unfortunately, MRI is prone to artifacts for a variety of reasons, which might result in missing one or more MRI modalities. Various strategies have been proposed over the years to synthesize the missing modality or compensate for the influence it has on automated segmentation models. However, these methods usually fail to model the underlying missing information. In this paper, we propose a style matching U-Net (SMU-Net) for brain tumour segmentation on MRI images. Our co-training approach utilizes a content and style-matching mechanism to distill the informative features from the full-modality network into a missing modality network. To do so, we encode both full-modality and missing-modality data into a latent space, then we decompose the representation space into a style and content representation. Our style matching module adaptively recalibrates the representation space by learning a matching function to transfer the informative and textural features from a full-modality path into a missing-modality path. Moreover, by modelling the mutual information, our content module surpasses the less informative features and re-calibrates the representation space based on discriminative semantic features. The evaluation process on the BraTS 2018 dataset shows a significant results.

研究动机与目标

• 解决推理阶段缺失一个或多个 MRI 模态（T1、T1c、T2、FLAIR）时的脑肿瘤分割挑战。
• 克服现有方法在缺失模态中无法重建特异性纹理与风格信息的局限性。
• 通过从全模态模型蒸馏知识，提升在低数据或不完整 MRI 情况下的泛化能力与性能。
• 开发一个统一框架，在仅提供单一模态时仍能保持高分割精度。
• 通过端到端联合优化分割、一致性、风格与内容损失，实现鲁棒的特征学习。

提出的方法

• 采用协同训练策略，联合训练全模态 U-Net 与缺失模态 U-Net，以实现信息性特征蒸馏。
• 通过各模态路径的独立编码器，将编码特征分解为内容与风格表征。
• 实现对抗性风格匹配模块，学习非线性函数，将全模态路径中的纹理与结构特征传递至缺失模态路径。
• 应用上下文损失（Lcontent）以抑制低信息量特征，突出具有判别性的语义表征。
• 通过一致性损失（Lconsistency）强制两路径之间的特征一致性，对齐潜在表征。
• 使用联合损失函数（结合分割、一致性、风格与内容损失，以及可学习权重 λ1–λ4）进行端到端优化。

实验结果

研究问题

• RQ1 协同训练框架能否有效将全模态分割模型的知识迁移至缺失模态网络？
• RQ2 将特征表征分离为内容与风格分量，是否能提升在缺失模态分割任务中的性能？
• RQ3 与基于分布或纹理的风格迁移相比，对抗性风格匹配在重建缺失 MRI 模态特征方面的有效性如何？
• RQ4 在模态信息不完整时，基于内容的特征重校准在多大程度上提升了分割精度？
• RQ5 在真实缺失模态条件下，所提方法能否在 BraTS 2018 上实现最先进性能？

主要发现

• 在完整模态设置下，SMU-Net 在整体肿瘤（WT）指标上达到 88.4 的平均 Dice 分数，优于 U-HeMIS（85.7）、HVED（87.3）和 ACN（87.5）。
• 在单模态场景下，SMU-Net 在整体肿瘤（WT）上的 Dice 分数为 87.9，相比基线方法（如 U-HeMIS 和 HVED）提升高达 20%。
• 对抗性风格匹配模块表现最佳（WT 的 Dice 为 88.4），优于基于分布的（87.0）和基于纹理的（86.5）方法。
• 消融研究显示，移除内容模块会使性能下降 1–2%，证实其在抑制非判别性特征中的作用。
• 包含所有模块的完整 SMU-Net 在所有指标（WT、CT、ET）上的平均 Dice 分数达到 68.47，显著优于各类消融变体。
• 定性结果表明，即使仅提供单一 MRI 模态作为输入，SMU-Net 也能生成准确且合理的分割图。