[论文解读] Towards Cross-modality Medical Image Segmentation with Online Mutual Knowledge Distillation

Kang Li, Lequan Yu+2 more|arXiv (Cornell University)|Oct 4, 2020

Advanced Neural Network Applications参考文献 22被引用 8

一句话总结

该论文提出了一种基于在线互知识蒸馏（MKD）的跨模态医学图像分割框架，通过利用辅助模态（如MRI）的先验知识来提升目标模态（如CT）的分割性能。该方法引入了图像对齐模块（IAM）以减少外观差异，并设计了一种新型MKD方案，使两个分割器通过相互指导共同学习模态共享知识，从而在MM-WHS 2017数据集上实现了最先进性能，平均Dice分数达到0.8517。

ABSTRACT

The success of deep convolutional neural networks is partially attributed to the massive amount of annotated training data. However, in practice, medical data annotations are usually expensive and time-consuming to be obtained. Considering multi-modality data with the same anatomic structures are widely available in clinic routine, in this paper, we aim to exploit the prior knowledge (e.g., shape priors) learned from one modality (aka., assistant modality) to improve the segmentation performance on another modality (aka., target modality) to make up annotation scarcity. To alleviate the learning difficulties caused by modality-specific appearance discrepancy, we first present an Image Alignment Module (IAM) to narrow the appearance gap between assistant and target modality data.We then propose a novel Mutual Knowledge Distillation (MKD) scheme to thoroughly exploit the modality-shared knowledge to facilitate the target-modality segmentation. To be specific, we formulate our framework as an integration of two individual segmentors. Each segmentor not only explicitly extracts one modality knowledge from corresponding annotations, but also implicitly explores another modality knowledge from its counterpart in mutual-guided manner. The ensemble of two segmentors would further integrate the knowledge from both modalities and generate reliable segmentation results on target modality. Experimental results on the public multi-class cardiac segmentation data, i.e., MMWHS 2017, show that our method achieves large improvements on CT segmentation by utilizing additional MRI data and outperforms other state-of-the-art multi-modality learning methods.

研究动机与目标

• 通过利用一种成像模态（如MRI）的先验知识来改善另一种成像模态（如CT）的分割性能，以应对医学图像分割中的标注稀缺问题。
• 缓解因模态特异性外观差异而阻碍跨模态知识迁移的挑战。
• 开发一种自监督、端到端的框架，完全利用模态共享知识，且在推理阶段无需辅助模态的标注。
• 通过相互蒸馏机制实现在模态之间的双向知识迁移，从而增强泛化能力和鲁棒性。

提出的方法

• 引入图像对齐模块（IAM），利用对抗学习从辅助模态图像（如MRI）生成合成目标模态图像（如合成CT），以减少外观差距。
• 设计了一种互知识蒸馏（MKD）方案，包含两个分割器：一个在真实目标模态数据（$S_{\text{real}}$）上训练，另一个在合成目标模态数据（$S_{\text{syn}}$）上训练，两者通过知识蒸馏相互指导。
• 每个分割器显式学习其自身模态的标注，同时隐式学习对方预测结果，从而实现跨模态特征知识迁移。
• 框架端到端训练，使IAM能够从MKD过程接收反馈，迭代提升合成图像质量，同时保持解剖形状先验。
• 最终分割结果通过集成$S_{\text{real}}$和$S_{\text{syn}}$生成，以平衡不一致预测并提高可靠性。
• 该方法在两个方向上均被应用——使用MRI提升CT分割，反之亦然——证明了其双向可迁移性。

实验结果

研究问题

• RQ1 能否从具有显著外观差异的多模态医学图像中有效提取并利用模态共享知识，以提升低资源目标模态的分割性能？
• RQ2 在不同模态上训练的两个分割器之间的相互指导如何增强特征学习与分割鲁棒性？
• RQ3 所提出的图像对齐模块在多大程度上提升了用于下游分割的合成目标模态图像质量？
• RQ4 互知识蒸馏方案是否在跨模态分割任务中优于标准微调和联合训练基线方法？
• RQ5 该框架是否可双向应用，无论将哪一模态指定为辅助或目标模态，均能提升分割性能？

主要发现

• 所提方法在MM-WHS 2017心脏分割数据集上达到0.8517的平均Dice分数，相比之前最先进方法提高了0.0142的平均Dice。
• 集成$S_{\text{real}}$和$S_{\text{syn}}$在左心室（LV）上达到0.8695的Dice分数，显著优于基线及其他SOTA方法。
• 当MRI作为辅助模态时，与基线相比，CT分割的平均Dice提升2.74%，与Zhang等（2020）相比提升1.42%。
• 当使用CT作为辅助模态时，方法仍表现出优越性能，平均Dice比Zhang等（2020）高出0.91%，证实其双向适用性。
• 消融实验表明，随着辅助模态数据量的增加，性能持续提升，表明更多数据可提供更丰富的先验知识。
• 定性结果表明，集成模型能有效纠正单个分割器的不一致预测，生成更可靠且一致的分割输出。