[论文解读] Virtual histological staining of unlabeled autopsy tissue

Yuzhu Li, Nir Pillar+13 more|arXiv (Cornell University)|Aug 2, 2023

Molecular Biology Techniques and Applications被引用 4

一句话总结

本研究提出了一种基于深度学习的虚拟组织化学染色方法，可将未经标记、自溶的尸检组织的内源性荧光图像转换为高保真度的H&E样虚拟染色图像，从而消除因固定延迟导致的染色伪影。该模型基于0.7 TB的共注册图像数据进行训练，采用数据高效型注册集成神经网络，成功从严重自溶组织（包括新冠后死亡病例）中生成无伪影、诊断可靠的虚拟H&E图像。

ABSTRACT

Histological examination is a crucial step in an autopsy; however, the traditional histochemical staining of post-mortem samples faces multiple challenges, including the inferior staining quality due to autolysis caused by delayed fixation of cadaver tissue, as well as the resource-intensive nature of chemical staining procedures covering large tissue areas, which demand substantial labor, cost, and time. These challenges can become more pronounced during global health crises when the availability of histopathology services is limited, resulting in further delays in tissue fixation and more severe staining artifacts. Here, we report the first demonstration of virtual staining of autopsy tissue and show that a trained neural network can rapidly transform autofluorescence images of label-free autopsy tissue sections into brightfield equivalent images that match hematoxylin and eosin (H&E) stained versions of the same samples, eliminating autolysis-induced severe staining artifacts inherent in traditional histochemical staining of autopsied tissue. Our virtual H&E model was trained using >0.7 TB of image data and a data-efficient collaboration scheme that integrates the virtual staining network with an image registration network. The trained model effectively accentuated nuclear, cytoplasmic and extracellular features in new autopsy tissue samples that experienced severe autolysis, such as COVID-19 samples never seen before, where the traditional histochemical staining failed to provide consistent staining quality. This virtual autopsy staining technique can also be extended to necrotic tissue, and can rapidly and cost-effectively generate artifact-free H&E stains despite severe autolysis and cell death, also reducing labor, cost and infrastructure requirements associated with the standard histochemical staining.

研究动机与目标

• 解决因固定延迟导致的自溶，从而造成尸检组织染色质量差的关键挑战。
• 克服传统组织化学染色在尸检工作流程中资源消耗大、耗时长、劳动强度高的问题。
• 利用人工智能开发一种成本低、快速且可扩展的化学H&E染色替代方案，适用于尸检组织。
• 在组织病理学服务超负荷的全球卫生危机中，实现可靠组织病理学诊断。
• 证明在严重自溶组织（包括新冠死亡病例）上实现虚拟染色的可行性。

提出的方法

• 采用双阶段图像配准流程：首先在全玻片图像（WSI）层面使用最大互相关进行刚性配准，随后在图像块层面（3248×3248 px）进行多模态仿射配准，以对齐内源性荧光图像与H&E图像。
• 在16,159对共注册图像对（经中心裁剪后为2048×2048 px）上训练深度神经网络（DNN），这些图像来自固定延迟极短的尸检组织，采用集成配准与染色网络的数据高效框架。
• 训练期间对256×256 px图像块应用随机翻转与旋转的数据增强，并进行零均值、单位方差归一化。
• 使用sCMOS相机（Leica DFC 9000 GTC）通过特定滤光立方，以100 ms（DAPI）和300 ms（TxRed）曝光时间捕获内源性荧光图像。
• 使用明场切片扫描仪（Leica Aperio AT2）对组织化学染色的H&E切片进行数字化，作为真实标签配对数据。
• 实施RegiStain框架，采用自定义损失函数与训练调度策略，以优化虚拟染色的保真度。

实验结果

研究问题

• RQ1 深度神经网络能否准确地将未标记尸检组织的内源性荧光图像转换为与传统组织化学染色质量相当的虚拟H&E染色图像？
• RQ2 所提出的虚拟染色方法在减少尸检组织中因自溶引起的染色伪影方面，效果如何？
• RQ3 该虚拟染色模型在严重自溶组织（如新冠后死亡病例）中是否能保持核与胞浆特征的诊断一致性？
• RQ4 虚拟染色方法能否在定量组织学指标（如核计数、核大小）上与传统H&E染色达到可比性？
• RQ5 将图像配准与虚拟染色网络集成，如何提升在具有挑战性的非理想尸检组织样本上的性能？

主要发现

• 虚拟H&E模型在严重自溶尸检组织（包括新冠后死亡病例）上实现了诊断级染色质量，而传统H&E染色因染料结合差和染色伪影而失败。
• 配对t检验显示，虚拟染色图像与组织化学染色图像在每视野核计数和平均核大小方面无显著差异（p > 0.05），表明具有高度定量一致性。
• 病理学家评估显示，虚拟染色与传统H&E染色在染色质量指标上无显著差异，证实了视觉评估中的诊断等效性。
• 该模型成功凸显了自溶严重组织（如出现空泡化和胞浆嗜碱性）中的核、胞浆及细胞外基质特征，而这些特征通常会使传统染色方法失效。
• 训练数据集包含超过0.7 TB的图像数据，使用16,159对注册图像对训练模型，使其能够对未见的尸检样本实现稳健泛化。
• 该方法通过消除化学试剂、染色流程及专用实验室设施的需求，显著降低了人力、成本与基础设施需求。