[论文解读] Unsupervised Histopathology Image Synthesis

Le Hou, Ayush Agarwal+4 more|arXiv (Cornell University)|Dec 13, 2017

AI in cancer detection参考文献 39被引用 56

一句话总结

本论文提出一个完全无监督的管线，用于合成大规模、真实且与任务相关的病理图像数据集，附带细胞核分割掩模，从而在无监督条件下实现更优的细胞核分割，并实现对难例的即时生成。

ABSTRACT

Hematoxylin and Eosin stained histopathology image analysis is essential for the diagnosis and study of complicated diseases such as cancer. Existing state-of-the-art approaches demand extensive amount of supervised training data from trained pathologists. In this work we synthesize in an unsupervised manner, large histopathology image datasets, suitable for supervised training tasks. We propose a unified pipeline that: a) generates a set of initial synthetic histopathology images with paired information about the nuclei such as segmentation masks; b) refines the initial synthetic images through a Generative Adversarial Network (GAN) to reference styles; c) trains a task-specific CNN and boosts the performance of the task-specific CNN with on-the-fly generated adversarial examples. Our main contribution is that the synthetic images are not only realistic, but also representative (in reference styles) and relatively challenging for training task-specific CNNs. We test our method for nucleus segmentation using images from four cancer types. When no supervised data exists for a cancer type, our method without supervision cost significantly outperforms supervised methods which perform across-cancer generalization. Even when supervised data exists for all cancer types, our approach without supervision cost performs better than supervised methods.

研究动机与目标

• 通过合成具有核分割掩模的现实、风格参考图像，降低创建大规模带标注病理训练数据集的成本和工作量。
• 使用合成数据训练任务特定模型（如核分割），使其既有代表性又具有挑战性。
• 整合即时难例合成，以持续改进特定任务的CNN。
• 在不同癌种和在无监督数据不可用的零-shot 场景下证明有效性。

提出的方法

• 使用受控的细胞核位置、大小、细胞密度和核多态性来生成初始的合成病理切片。
• 使用简单的无监督超分割来去除细胞核并创建背景切片，然后从真实的H&E通道中模拟前景核纹理。
• 将前景核纹理与背景切片结合，形成初始合成图像及其对应的分割掩模。
• 通过基于GAN的修正器对初始合成图像进行细化，将风格转移到真实参考图像，同时保持内容。
• 共同训练任务特定的CNN（如用于分割的U-net），并通过优化更高的任务损失来引入即时难例。
• 为修正器采用三部分损失：L_G = alpha L_G^real + beta L_G^reg + gamma L_G^hard，结合正则化、真实感和难例组件（以及一个判别器D），以引导风格迁移和真实感。

实验结果

研究问题

• RQ1 无监督合成是否可以产生对核分割任务既真实又相关的病理图像？
• RQ2 在真实有标签数据稀缺或不可用时，使用合成数据进行训练是否能提升分割性能？
• RQ3 将合成器与即时难例生成结合，是否比静态数据或标准增强方式在下游任务上表现更好？
• RQ4 该方法在不同癌种和组织风格下是否具有鲁棒性？
• RQ5 真实参考风格引导和难例合成对分割性能的贡献是什么？

主要发现

• 所提出的方法在 MICCAI15 和 MICCAI17 数据集上实现了具有竞争力的核分割性能，在没有癌种注释时超过跨癌监督基线。
• 当所有癌种均有监督数据时，无监督合成方法在没有监督成本的情况下达到或超越最先进的监督方法。
• 消融研究表明同时使用真实参考风格图像和即时难例生成有助于提升分割性能（相对提升 6%-9%）。
• 病理学家评估表明，经过修正的合成切片中相当一部分看起来真实，支持合成图像的真实感。
• 该方法超越病理学领域，扩展到合成的 SVHN 风格数字，展示修正框架的更广泛适用性。