[论文解读] Target and Task specific Source-Free Domain Adaptive Image Segmentation

Vibashan VS, Jeya Maria Jose Valanarasu+1 more|arXiv (Cornell University)|Mar 29, 2022

Domain Adaptation and Few-Shot Learning被引用 16

一句话总结

该论文提出TT-SFUDA，一种用于医学图像分割的两阶段无源域自适应方法。该方法首先通过集成熵最小化与选择性投票（目标域特定适应）提升伪标签质量，随后利用学生-教师框架（任务特定适应）进一步优化分割性能。该方法在2D视网膜图像和3D MRI数据集的7种域偏移设置下均达到最先进性能，优于现有的UDA和SFUDA方法。

ABSTRACT

Solving the domain shift problem during inference is essential in medical imaging, as most deep-learning based solutions suffer from it. In practice, domain shifts are tackled by performing Unsupervised Domain Adaptation (UDA), where a model is adapted to an unlabelled target domain by leveraging the labelled source data. In medical scenarios, the data comes with huge privacy concerns making it difficult to apply standard UDA techniques. Hence, a closer clinical setting is Source-Free UDA (SFUDA), where we have access to source-trained model but not the source data during adaptation. Existing SFUDA methods rely on pseudo-label based self-training techniques to address the domain shift. However, these pseudo-labels often have high entropy due to domain shift and adapting the source model with noisy pseudo-labels leads to sub-optimal performance. To overcome this limitation, we propose a systematic two-stage approach for SFUDA comprising of target-specific adaptation followed by task-specific adaptation. In target-specific adaptation, we enhance the pseudo-label generation by minimizing high entropy regions using the proposed ensemble entropy minimization loss and a selective voting strategy. In task-specific adaptation, we exploit the enhanced pseudo-labels using a student-teacher framework to effectively learn segmentation on the target domain. We evaluate our proposed method on 2D fundus datasets and 3D MRI volumes across 7 different domain shifts where we perform better than existing UDA and SFUDA methods for medical image segmentation. Code is available at https://github.com/Vibashan/tt-sfuda.

研究动机与目标

• 解决因隐私限制无法获取源数据时，医学图像分割中域偏移的挑战。
• 克服无源无监督域自适应（SFUDA）中噪声多、高熵伪标签的局限性。
• 提出一种系统化的两阶段适应框架，将目标域特定学习与任务特定学习分离，以提升鲁棒性。
• 利用集成熵最小化与选择性投票提升伪标签质量，降低预测不确定性。
• 在无源域自适应设置下，于多样化医学图像分割基准上实现最先进性能。

提出的方法

• 提出两阶段框架：第一阶段执行目标域特定适应以提升伪标签质量；第二阶段执行任务特定适应以优化分割性能。
• 提出集成熵最小化（EEM）损失，通过减少同一图像在多个增强视图下的高熵区域，降低伪标签的不确定性。
• 实施选择性投票策略，识别在多个增强预测中均呈现高熵的区域，生成更可靠的伪标签。
• 在第二阶段应用学生-教师自训练框架，利用强增强与弱增强策略，强制预测一致性，提升分割泛化能力。
• 将第一阶段生成的增强伪标签作为第二阶段的监督信号，实现在无源数据访问条件下的有效目标域适应。
• 通过联合优化EEM损失、选择性投票与学生-教师损失，端到端训练模型，以同步提升标签质量与分割精度。

实验结果

研究问题

• RQ1 通过集成熵最小化与选择性投票提升伪标签质量，是否能显著改善医学图像分割中无源域自适应的性能？
• RQ2 适应阶段的顺序——先目标域特定适应后任务特定适应——是否对模型性能有显著影响？
• RQ3 学生-教师框架在域偏移条件下，利用增强伪标签进行任务特定分割学习的效率如何？
• RQ4 所提出的损失函数（EEM、SV、ST）在性能提升中的个体与协同贡献程度如何？
• RQ5 该两阶段框架是否能在2D与3D医学影像模态的多种域偏移中实现良好泛化？

主要发现

• TT-SFUDA在2D视网膜图像与3D MRI数据集的7种不同域偏移设置下均达到最先进性能，优于现有UDA与SFUDA方法。
• 在CHASE-BR数据集上，TT-SFUDA在CHASE → HRF域偏移中取得58.25 ± 1.06的平均Dice分数，显著优于第二名方法（55.20 ± 1.45），尤其在适应顺序反转时优势更明显。
• 消融实验表明，结合EEM、选择性投票与学生-教师损失可获得最佳性能，其中仅使用学生-教师损失即可在高域差距场景下提升性能达14.4%。
• 适应顺序至关重要：先进行目标域特定适应再进行任务特定适应可获得更优结果；反之则因噪声过拟合导致性能下降。
• 在HRF → RITE域偏移中，TT-SFUDA取得58.37 ± 1.03的Dice分数，领先第二名方法（52.63 ± 1.36）超过5.7个百分点。
• 该方法在2D与3D模态中均表现出一致的性能增益，证实其在多样化医学影像场景下对域偏移的强鲁棒性。