[论文解读] Towards semi-supervised segmentation via image-to-image translation

Eugene Vorontsov, Pavlo Molchanov+7 more|arXiv (Cornell University)|Apr 2, 2019

Domain Adaptation and Few-Shot Learning参考文献 32被引用 4

一句话总结

本文提出了一种半监督语义分割框架，通过在弱标签（例如疾病存在/不存在）与分割掩码之间进行图像到图像的转换，利用有限的像素级注释提升性能。通过在图像翻译与语义分割任务之间共享编码器和解码器，并选择性地建模领域特定的差异，该方法在MRI脑肿瘤分割任务中取得了显著性能提升，优于标准的基于自编码器的半监督方法。

ABSTRACT

In many cases, especially with medical images, it is prohibitively challenging to produce a sufficiently large training sample of pixel-level annotations to train deep neural networks for semantic image segmentation. On the other hand, some information is often known about the contents of images. We leverage information on whether an image presents the segmentation target or whether it is absent from the image to improve segmentation performance by augmenting the amount of data usable for model training. Specifically, we propose a semi-supervised framework that employs image-to-image translation between weak labels (e.g., presence vs. absence of cancer), in addition to fully supervised segmentation on some examples. We conjecture that this translation objective is well aligned with the segmentation objective as both require the same disentangling of image variations. Building on prior image-to-image translation work, we re-use the encoder and decoders for translating in either direction between two domains, employing a strategy of selectively decoding domain-specific variations. For presence vs. absence domains, the encoder produces variations that are common to both and those unique to the presence domain. Furthermore, we successfully re-use one of the decoders used in translation for segmentation. We validate the proposed method on synthetic tasks of varying difficulty as well as on the real task of brain tumor segmentation in magnetic resonance images, where we show significant improvements over standard semi-supervised training with autoencoding.

研究动机与目标

• 解决医学图像分割中像素级注释有限的挑战，特别是在MRI中的应用。
• 通过利用存在或不存在目标（例如肿瘤）等弱监督信号来提升分割性能。
• 通过共享编码器-解码器架构，统一图像到图像的转换与语义分割任务。
• 探究弱标签与分割掩码之间的转换是否可作为有意义的自监督信号。

提出的方法

• 该框架使用共享编码器提取存在于存在与不存在两个领域中的共同特征，同时为存在类别保留领域特定的特征。
• 采用两个解码器：一个用于从存在/不存在标签翻译到图像，另一个用于从图像翻译到分割掩码。
• 通过在弱标签与分割掩码之间训练基于循环一致性的生成对抗网络（GAN）图像到图像转换网络，以强制保持结构一致性。
• 利用注意力机制或跳跃连接选择性地解码领域特定的差异，以保留目标特定的细节。
• 重用翻译分支中的分割解码器，实现参数共享与联合优化。
• 在统一的训练目标中整合翻译与分割目标，提升特征解耦与泛化能力。

实验结果

研究问题

• RQ1 在弱标签（存在/不存在）与分割掩码之间进行图像到图像的转换，是否能提升半监督语义分割的性能？
• RQ2 在图像翻译与语义分割任务之间共享表示学习，如何增强特征解耦？
• RQ3 所提出的方法是否优于标准的基于自编码器的半监督训练方法在医学图像分割中的表现？
• RQ4 在特征学习方面，模型在多大程度上受益于翻译与分割目标之间的一致性？
• RQ5 该框架是否能在合成与真实世界医学影像任务之间实现良好泛化？

主要发现

• 与基于自编码器的标准半监督训练相比，该方法在MRI脑肿瘤分割任务中实现了显著的性能提升。
• 即使仅有少量完全标注的训练样本，该模型也能提升分割精度，展现出强大的数据效率。
• 翻译与分割任务的联合训练有助于更好地解耦内容特征与领域特定特征。
• 通过重用翻译分支中的分割解码器，减少了参数量并提升了训练稳定性。
• 该方法在不同难度的合成任务中均表现出良好的泛化能力，证实了其鲁棒性与可扩展性。
• 消融研究证实，循环一致性翻译目标对性能提升具有显著贡献。