[论文解读] Virtual Histology with Photon Absorption Remote Sensing using a Cycle-Consistent Generative Adversarial Network with Weakly Registered Pairs

James E. D. Tweel, Benjamin R. Ecclestone+4 more|arXiv (Cornell University)|Jun 14, 2023

Cell Image Analysis Techniques被引用 4

一句话总结

本论文提出一种无需标记的虚拟组织化学染色方法，结合光子吸收远感成像（PARS）显微镜与循环一致性生成对抗网络（CycleGAN），从未经染色的组织切片生成类似苏木精-伊红（H&E）染色的虚拟组织学图像。通过在PARS数据上应用自监督的Noise2Void去噪网络及一种新型机械扫描误差校正算法，该方法实现了亚微米级结构分辨率，并生成的虚拟染色图像在恶性皮肤和乳腺组织中与金标准H&E染色无异。

ABSTRACT

Modern histopathology relies on the microscopic examination of thin tissue sections stained with histochemical techniques, typically using brightfield or fluorescence microscopy. However, the staining of samples can permanently alter their chemistry and structure, meaning an individual tissue section must be prepared for each desired staining contrast. This not only consumes valuable tissue samples but also introduces delays in essential diagnostic timelines. In this work, virtual histochemical staining is developed using label-free photon absorption remote sensing (PARS) microscopy. We present a method that generates virtually stained histology images that are indistinguishable from the gold standard hematoxylin and eosin (H&E) staining. First, PARS label-free ultraviolet absorption images are captured directly within unstained tissue specimens. The radiative and non-radiative absorption images are then preprocessed, and virtually stained through the presented pathway. The preprocessing pipeline features a self-supervised Noise2Void denoising convolutional neural network (CNN) as well as a novel algorithm for pixel-level mechanical scanning error correction. These developments significantly enhance the recovery of sub-micron tissue structures, such as nucleoli location and chromatin distribution. Finally, we used a cycle-consistent generative adversarial network CycleGAN architecture to virtually stain the preprocessed PARS data. Virtual staining is applied to thin unstained sections of malignant human skin and breast tissue samples. Clinically relevant details are revealed, with comparable contrast and quality to gold standard H&E-stained images. This work represents a crucial step to deploying label-free microscopy as an alternative to standard histopathology techniques.

研究动机与目标

• 为克服传统组织病理学方法需永久染色且消耗珍贵组织样本的局限性。
• 开发一种非破坏性、无标记的替代方案，利用光子吸收远感成像（PARS）显微镜替代传统组织化学染色。
• 从无标记、未经染色的组织切片生成高保真度的虚拟H&E染色图像，无需化学染色。
• 实现从单一切片出发的快速、可重复且多对比度的组织学评估。

提出的方法

• 通过PARS显微镜从薄层、未经染色的人体组织切片捕获紫外吸收图像。
• 应用自监督的Noise2Void卷积神经网络（CNN）对辐射与非辐射PARS图像进行去噪。
• 实施一种新型像素级机械扫描误差校正算法，以提升亚微米结构保真度。
• 利用循环一致性生成对抗网络（CycleGAN）将预处理后的PARS图像转换为虚拟H&E染色外观。
• 在弱配准的PARS与H&E图像对上训练CycleGAN，以对齐不同模态间的组织形态。
• 在恶性皮肤和乳腺组织样本中，将虚拟染色输出与金标准H&E染色组织学结果进行验证。

实验结果

研究问题

• RQ1 PARS显微镜数据是否能有效预处理，以恢复如核仁和染色质分布等亚微米级组织结构？
• RQ2 CycleGAN架构在多大程度上能生成在视觉上与真实H&E染色无异的虚拟H&E染色图像？
• RQ3 Noise2Void去噪与机械误差校正相结合，如何提升无标记PARS图像在虚拟染色中的质量？
• RQ4 在弱配准的PARS与H&E图像对上，通过CycleGAN实现的虚拟染色是否能达到临床相关的对比度与分辨率？
• RQ5 所提出的方法是否能在无需化学染色或组织消耗的情况下，保留诊断相关的组织学特征？

主要发现

• Noise2Void去噪网络显著提升了PARS图像的信噪比，使亚微米结构的可视化更加清晰。
• 新型机械扫描误差校正算法增强了像素级对齐，提升了PARS衍生图像的结构准确性。
• 使用CycleGAN进行虚拟染色生成的图像在对比度与纹理质量方面与金标准H&E染色相当。
• 临床相关的组织学特征，包括染色质分布与核仁形态，在虚拟染色图像中均能清晰分辨。
• 该方法实现了从单一切片无标记组织中高保真度的虚拟组织学成像，消除了对化学染色与组织消耗的需求。
• 该方法展示了无标记、多对比度组织病理学的可行性，具有实时诊断应用的潜力。