[论文解读] Unsupervised Instance Segmentation in Microscopy Images via Panoptic Domain Adaptation and Task Re-weighting

Dongnan Liu, Donghao Zhang+6 more|arXiv (Cornell University)|May 5, 2020

AI in cancer detection参考文献 49被引用 4

一句话总结

本文提出CyC-PDAM，一种新颖的无监督域自适应框架，用于荧光显微镜作为源域的组织病理学图像中细胞核实例分割。通过整合细胞核修复、基于语义分支的全景式域自适应以及动态任务重加权，该方法在无需目标域标注的情况下，在基准数据集上实现了最先进性能，与全监督方法表现相当。

ABSTRACT

Unsupervised domain adaptation (UDA) for nuclei instance segmentation is important for digital pathology, as it alleviates the burden of labor-intensive annotation and domain shift across datasets. In this work, we propose a Cycle Consistency Panoptic Domain Adaptive Mask R-CNN (CyC-PDAM) architecture for unsupervised nuclei segmentation in histopathology images, by learning from fluorescence microscopy images. More specifically, we first propose a nuclei inpainting mechanism to remove the auxiliary generated objects in the synthesized images. Secondly, a semantic branch with a domain discriminator is designed to achieve panoptic-level domain adaptation. Thirdly, in order to avoid the influence of the source-biased features, we propose a task re-weighting mechanism to dynamically add trade-off weights for the task-specific loss functions. Experimental results on three datasets indicate that our proposed method outperforms state-of-the-art UDA methods significantly, and demonstrates a similar performance as fully supervised methods.

研究动机与目标

• 通过在无需目标域标注的情况下实现无监督实例分割，解决组织病理学图像分析中的高标注成本与域偏移问题。
• 通过在语义和实例层面联合适应特征，减少细胞核实例分割中的域偏差。
• 通过动态重加权特定任务损失函数，减轻训练过程中的源域偏差。
• 通过一种新颖的修复机制去除辅助细胞核，提升合成目标域图像的真实性。
• 实现保留前景与背景之间空间关系的全景式域自适应。

提出的方法

• 提出一种细胞核修复机制，用于去除合成组织病理学图像中的伪影细胞核，提升分割保真度。
• 引入带有域判别器的语义分支，以在全景层面学习域不变特征，捕捉前景与背景之间的关系。
• 将CyCADA框架适配至Mask R-CNN以实现实例分割，支持在外观、图像和实例层面实现循环一致性域自适应。
• 采用动态任务重加权机制，根据特征域不变性调整损失权重，减轻训练过程中的源域偏差。
• 使用多分支架构，结合实例级检测头与语义级分割头，实现联合优化。
• 利用循环一致性翻译，从源域荧光显微镜数据生成类似目标域的逼真图像。

实验结果

研究问题

• RQ1 无监督域自适应能否有效弥合荧光显微镜图像与组织病理学图像之间在细胞核实例分割任务上的域差距？
• RQ2 同时处理语义与实例层面域偏移的全景式域自适应，在多大程度上提升了分割性能？
• RQ3 动态任务重加权在多大程度上减少了模型优化过程中的源域偏差？
• RQ4 一种在无目标域标注条件下训练的方法，能否实现与全监督模型相当的性能？
• RQ5 各个组件（修复、语义分支、任务重加权）对整体性能提升的贡献如何？

主要发现

• 所提出的CyC-PDAM方法在三个公开数据集上优于最先进无监督域自适应方法，表现出显著的性能提升。
• 在Kumar数据集上，CyC-PDAM实现了0.887的像素级F1分数，与全监督Panoptic FPN模型性能相当。
• 在测试集上，该方法实现了0.728的平均AJI，略低于Panoptic FPN，但显著优于全监督CNN3和DIST模型。
• 消融研究显示，若移除任意一个核心组件（修复、语义分支、任务重加权），各项指标性能均下降4%–6%，且p值均小于0.05，证实其统计显著性。
• 该模型在Kumar数据集中对未见器官的泛化能力更强，表明其具备强大的域不变特征学习能力。
• 可视化结果表明，与无重加权基线相比，任务重加权机制有效减少了源域偏差预测，如不规则大小的细胞核和假阳性预测。