[论文解读] Pairwise Relation Learning for Semi-supervised Gland Segmentation

Yutong Xie, Jianpeng Zhang+4 more|arXiv (Cornell University)|Aug 6, 2020

AI in cancer detection参考文献 21被引用 5

一句话总结

该论文提出 PRS²，一种用于组织学腺体分割的半监督深度学习框架，通过在特征空间中利用图像对之间的成对关系来增强无标签数据的表征学习。通过在分割网络（S-Net）和成对关系网络（PR-Net）之间共享编码器，PRS² 提升了分割精度——在 GlaS 和 CRAG 基准测试中实现了最先进性能，同时减少了对完全标注训练数据的依赖。

ABSTRACT

Accurate and automated gland segmentation on histology tissue images is an essential but challenging task in the computer-aided diagnosis of adenocarcinoma. Despite their prevalence, deep learning models always require a myriad number of densely annotated training images, which are difficult to obtain due to extensive labor and associated expert costs related to histology image annotations. In this paper, we propose the pairwise relation-based semi-supervised (PRS^2) model for gland segmentation on histology images. This model consists of a segmentation network (S-Net) and a pairwise relation network (PR-Net). The S-Net is trained on labeled data for segmentation, and PR-Net is trained on both labeled and unlabeled data in an unsupervised way to enhance its image representation ability via exploiting the semantic consistency between each pair of images in the feature space. Since both networks share their encoders, the image representation ability learned by PR-Net can be transferred to S-Net to improve its segmentation performance. We also design the object-level Dice loss to address the issues caused by touching glands and combine it with other two loss functions for S-Net. We evaluated our model against five recent methods on the GlaS dataset and three recent methods on the CRAG dataset. Our results not only demonstrate the effectiveness of the proposed PR-Net and object-level Dice loss, but also indicate that our PRS^2 model achieves the state-of-the-art gland segmentation performance on both benchmarks.

研究动机与目标

• 解决基于深度学习的腺体分割中像素级标注组织学图像有限的问题。
• 通过半监督学习利用无标签数据，降低对昂贵专家标注的依赖。
• 在腺体相互接触或存在粘连边缘的情况下，提升分割的鲁棒性。
• 通过在特征空间中利用图像对之间的语义一致性，增强特征表征。
• 设计多级损失函数，对单个腺体施加约束，以提高边界分割精度。

提出的方法

• 提出双分支模型：一个用于分割的监督型 S-Net 和一个通过成对关系学习图像表征的无监督型 PR-Net。
• 通过强制具有相同腺体语义的图像对在特征嵌入上保持语义一致性，对 PR-Net 在有标签和无标签数据上进行训练。
• 在 S-Net 和 PR-Net 之间共享编码器权重，将 PR-Net 的表征知识迁移至 S-Net。
• 引入实例级 Dice 损失以施加每个腺体的约束，解决腺体相互接触或重叠带来的问题。
• 将实例级 Dice 损失与像素级交叉熵损失及全局 Dice 损失结合，构成 S-Net 的多级损失函数。
• 通过数据增强和图像对之间的特征层面对齐实现一致性正则化，以提升模型鲁棒性。

实验结果

研究问题

• RQ1 在缺乏标注的情况下，特征空间中图像对之间的成对语义一致性是否能提升表征学习？
• RQ2 引入实例级 Dice 损失是否能提升在重叠或接触腺体上的分割性能？
• RQ3 无标签数据在不牺牲性能的前提下，能在多大程度上减少对密集标注训练图像的需求？
• RQ4 在监督受限条件下，所提出的 PRS² 模型与最先进方法相比表现如何？
• RQ5 通过参数共享，PR-Net 学习到的表征是否能泛化以提升分割网络的性能？

主要发现

• 在 GlaS 数据集上，PRS² 实现了最先进性能，实例-F 分数达到 84.3，实例-D 分数达到 89.2，优于五种近期方法。
• 在 CRAG 数据集上，PRS² 实现了实例-F 分数 82.1 和实例-D 分数 87.1，超越了三种近期最先进模型。
• 仅使用 50% 的标注训练数据，PRS² 在两个数据集上的性能即与在 100% 标注数据上训练的全监督 S-Net 相当。
• 仅使用 20% 的标注数据，PRS² 的性能即可与在 50% 标注数据上训练的全监督 S-Net 相媲美。
• 消融实验证实，多级损失（包含实例级 Dice 损失）显著优于单一损失组件，大幅提升了分割性能。
• PR-Net 在无标签数据上的无监督训练增强了特征表征，通过共享编码器使 S-Net 性能得到可测量的提升。