[论文解读] Self-Training Based Unsupervised Cross-Modality Domain Adaptation for Vestibular Schwannoma and Cochlea Segmentation

Hyungseob Shin, Hyeongyu Kim+4 more|arXiv (Cornell University)|Sep 22, 2021

Ultrasonics and Acoustic Wave Propagation参考文献 7被引用 4

一句话总结

本文提出了一种基于自训练的无监督跨模态域自适应框架，用于仅使用T1加权MRI标注对高分辨率T2加权MRI扫描中的前庭神经鞘瘤和耳蜗进行分割。通过利用对比度转换、伪标签生成以及在真实和生成的T2扫描上进行联合训练，该方法在CrossMoDA2021挑战赛中实现了最先进性能，前庭神经鞘瘤的平均Dice分数为0.8570，耳蜗的平均Dice分数为0.8446。

ABSTRACT

With the advances of deep learning, many medical image segmentation studies achieve human-level performance when in fully supervised condition. However, it is extremely expensive to acquire annotation on every data in medical fields, especially on magnetic resonance images (MRI) that comprise many different contrasts. Unsupervised methods can alleviate this problem; however, the performance drop is inevitable compared to fully supervised methods. In this work, we propose a self-training based unsupervised-learning framework that performs automatic segmentation of Vestibular Schwannoma (VS) and cochlea on high-resolution T2 scans. Our method consists of 4 main stages: 1) VS-preserving contrast conversion from contrast-enhanced T1 scan to high-resolution T2 scan, 2) training segmentation on generated T2 scans with annotations on T1 scans, and 3) Inferring pseudo-labels on non-annotated real T2 scans, and 4) boosting the generalizability of VS and cochlea segmentation by training with combined data (i.e., real T2 scans with pseudo-labels and generated T2 scans with true annotations). Our method showed mean Dice score and Average Symmetric Surface Distance (ASSD) of 0.8570 (0.0705) and 0.4970 (0.3391) for VS, 0.8446 (0.0211) and 0.1513 (0.0314) for Cochlea on CrossMoDA2021 challenge validation phase leaderboard, outperforming most other approaches.

研究动机与目标

• 解决医学影像中多对比度MRI数据标注成本高昂的问题。
• 在无需T2加权MRI标注的情况下，实现在T2加权MRI中对前庭神经鞘瘤和耳蜗的精确分割。
• 通过无监督域自适应减少T1与T2 MRI模态之间的域偏移。
• 通过结合真实T2扫描与伪标签数据，以及生成的T2扫描与真实标注，提升模型泛化能力。
• 在低资源标注设置下，通过自训练实现高性能分割。

提出的方法

• 一种保持对比度的图像转换网络将对比度增强的T1加权MRI转换为合成的高分辨率T2加权MRI。
• 分割网络首先使用T1扫描标注在生成的T2扫描上进行训练。
• 利用训练好的分割模型在真实但未标注的T2扫描上预测伪标签。
• 在由真实T2扫描（带伪标签）和生成T2扫描（带真实标签）组成的联合数据集上对分割模型进行微调。
• 迭代应用自训练以提高模型鲁棒性，并减少T1与T2模态之间的域偏移。
• 该框架在图像转换中利用循环一致性损失和对抗性损失，以保持解剖结构的完整性。

实验结果

研究问题

• RQ1 自训练能否有效减少T1与T2 MRI在医学图像分割中的域偏移？
• RQ2 在仅使用T1标注训练的模型，能否在无任何T2标注的情况下泛化到T2扫描？
• RQ3 在结合合成T2数据时，对真实T2扫描进行伪标签生成能否提升分割性能？
• RQ4 在真实与生成的T2扫描上联合训练是否能增强模型的泛化能力和鲁棒性？
• RQ5 与现有无监督域自适应方法相比，该方法在CrossMoDA2021基准上的性能如何？

主要发现

• 该方法在CrossMoDA2021验证集上对前庭神经鞘瘤分割的平均Dice分数达到0.8570（±0.0705）。
• 该方法对耳蜗分割的平均Dice分数达到0.8446（±0.0211），优于大多数对比方法。
• 前庭神经鞘瘤的平均对称表面距离（ASSD）为0.4970（±0.3391），表明分割精度较高。
• 耳蜗的ASSD为0.1513（±0.0314），反映出边界定位精确。
• 该模型在CrossMoDA2021挑战赛中优于大多数其他参赛方法，展现出最先进性能。
• 合成数据与伪标签的结合在缺乏T2标注的情况下显著提升了模型泛化能力。