[论文解读] Slide-free MUSE Microscopy to H&E Histology Modality Conversion via Unpaired Image-to-Image Translation GAN Models

Tanishq Mathew Abraham, Andrew Shaw+3 more|arXiv (Cornell University)|Aug 19, 2020

Cell Image Analysis Techniques参考文献 11被引用 6

一句话总结

本文提出一种基于CycleGAN的无配对图像到图像转换框架，将无切片MUSE显微镜图像转换为虚拟H&E染色组织学图像，使病理学家能够借助熟悉的H&E视觉线索解读MUSE数据。该方法在视觉真实感方面达到最先进水平，CycleGAN在定性和基于判别器的定量评估中均优于DualGAN和GANILLA，尤其在对MUSE图像进行颜色反转以提升内容保留效果后表现更优。

ABSTRACT

MUSE is a novel slide-free imaging technique for histological examination of tissues that can serve as an alternative to traditional histology. In order to bridge the gap between MUSE and traditional histology, we aim to convert MUSE images to resemble authentic hematoxylin- and eosin-stained (H&E) images. We evaluated four models: a non-machine-learning-based color-mapping unmixing-based tool, CycleGAN, DualGAN, and GANILLA. CycleGAN and GANILLA provided visually compelling results that appropriately transferred H&E style and preserved MUSE content. Based on training an automated critic on real and generated H&E images, we determined that CycleGAN demonstrated the best performance. We have also found that MUSE color inversion may be a necessary step for accurate modality conversion to H&E. We believe that our MUSE-to-H&E model can help improve adoption of novel slide-free methods by bridging a perceptual gap between MUSE imaging and traditional histology.

研究动机与目标

• 弥合新型无切片MUSE显微镜与传统H&E组织学之间的感知差距，后者仍是病理学的金标准。
• 解决在无需配对训练数据的情况下将MUSE图像转换为类似H&E外观的挑战。
• 评估并比较多种无配对图像到图像翻译生成对抗网络模型，以生成从MUSE输入生成的逼真虚拟H&E图像的能力。
• 确定最优预处理步骤——尤其是MUSE图像颜色反转——以提升模态转换的保真度。
• 开发一种稳健的半定量评估框架，利用外部判别器模型评估在缺乏配对真实值的情况下图像的真实感。

提出的方法

• 采用无配对图像到图像翻译方法，通过CycleGAN、DualGAN和GANILLA将MUSE图像（X）映射为H&E图像（Y），无需像素对齐的训练配对。
• 应用循环一致性损失：L_cycle = E_x[||G_Y(G_X(x)) - x||_1] + E_y[||G_X(G_Y(y)) - y||_1]，以强制实现循环恢复并保留内容。
• 引入身份损失以实现正则化：L_identity = E_y[||G_X(y) - y||_1] + E_x[||G_Y(x) - x||_1]，以提升特征一致性。
• 在两个领域均使用70×70 PatchGAN判别器，以在生成图像中强制实现局部真实感。
• 采用重叠512×512图像块与步长256的分块推理策略，以处理大尺寸全玻片图像，最大限度减少拼接伪影。
• 在真实H&E图像和生成H&E图像上训练外部判别器模型，以定量评估真实感，判别器分类准确率越高，表示生成质量越差。

实验结果

研究问题

• RQ1 无配对生成对抗网络图像转换能否在无需配对训练数据的情况下，有效将MUSE显微镜图像转换为视觉上令人信服的虚拟H&E图像？
• RQ2 MUSE图像的颜色反转是否能提升生成对抗网络模态转换模型的性能？
• RQ3 在视觉保真度和结构保留方面，CycleGAN、DualGAN和GANILLA中哪一个能生成最逼真的虚拟H&E图像？
• RQ4 在缺乏真实值的情况下，能否通过在真实与生成H&E图像上训练的外部判别器模型，作为图像质量评估的可靠代理？
• RQ5 模型推理速度与分块推理的一致性如何影响此类模型在全玻片图像处理中的实际部署？

主要发现

• CycleGAN在视觉质量方面表现最佳，外部判别器模型对其生成图像的虚假图像分类准确率最低（第10轮时为71.9%），表明其输出最逼真。
• GANILLA表现良好，但逊于CycleGAN，其判别器准确率在第10轮达到84.4%，表明存在更多可检测的伪影。
• DualGAN生成结果最不真实，其判别器准确率在第20轮达到100%，表明泛化能力差，未能有效模仿H&E外观。
• 对MUSE图像进行颜色反转对成功转换至关重要，因为它纠正了MUSE中明亮细胞核与H&E中深色细胞核之间的错位。
• 采用重叠（步长256）的分块推理显著减少了可见的拼接伪影，提升了图像拼接的一致性。
• 基于判别器的评估方法与视觉检查结果一致，支持其作为生成对抗网络模态转换在组织学中半定量基准的使用。