[论文解读] Rapid Whole Slide Imaging via Learning-based Two-shot Virtual Autofocusing

Qiang Li, Xianming Liu+4 more|arXiv (Cornell University)|Mar 14, 2020

Image Processing Techniques and Applications参考文献 27被引用 4

一句话总结

本文提出一种基于学习的两步法虚拟自动对焦（TSVA）方法，用于快速全玻片成像（WSI），通过仅使用两张离焦图像，利用U-Net启发的深度神经网络恢复出清晰对焦图像，从而消除机械对焦步骤。该方法在最小化扫描时间的同时实现高通量WSI，并保持高图像质量，如与U-Net相比平均PSNR提升3.49 dB，且在恢复图像上的平均细胞计数误差仅为0.12。

ABSTRACT

Whole slide imaging (WSI) is an emerging technology for digital pathology. The process of autofocusing is the main influence of the performance of WSI. Traditional autofocusing methods either are time-consuming due to repetitive mechanical motions, or require additional hardware and thus are not compatible to current WSI systems. In this paper, we propose the concept of extit{virtual autofocusing}, which does not rely on mechanical adjustment to conduct refocusing but instead recovers in-focus images in an offline learning-based manner. With the initial focal position, we only perform two-shot imaging, in contrast traditional methods commonly need to conduct as many as 21 times image shooting in each tile scanning. Considering that the two captured out-of-focus images retain pieces of partial information about the underlying in-focus image, we propose a U-Net-inspired deep neural network based approach for fusing them into a recovered in-focus image. The proposed scheme is fast in tissue slides scanning, enabling a high-throughput generation of digital pathology images. Experimental results demonstrate that our scheme achieves satisfactory refocusing performance.

研究动机与目标

• 解决传统WSI自动对焦方法依赖重复机械z轴堆叠而导致耗时的问题。
• 通过用离线学习驱动的图像恢复替代扫描过程中的自动对焦，消除对高精度机械系统的依赖。
• 通过将每张图像的采集次数从21次减少到仅2次，实现高通量WSI。
• 在减少采集次数且无机械调节的情况下，仍保持高图像质量和下游分析的准确性。

提出的方法

• 该方法使用U-Net启发的深度神经网络（TSVA）融合在初始焦平面两侧对称离焦偏移处捕获的两张离焦图像。
• 首张切片的完整z轴堆叠用于确定初始焦面位置，该位置随后作为后续切片的参考。
• 对于每张后续切片，仅捕获两张图像——一张位于估计焦面以下的离焦偏移处，一张位于以上——显著缩短扫描时间。
• 将捕获的两张离焦图像输入TSVA网络，以离线学习方式重建高质量对焦图像。
• 网络在大规模配对数据集上进行训练，学习从离焦外观到对焦外观的映射关系。
• 该方法与现有WSI平台兼容，仅需标准的双张成像，无需额外硬件。

实验结果

研究问题

• RQ1 基于学习的恢复方法是否能在两步成像策略下实现与传统多步z轴堆叠方法相当或更优的自动对焦性能？
• RQ2 所提出的虚拟自动对焦方法在不同两幅图像之间离焦偏移量下的性能表现如何？
• RQ3 与单张图像输入相比，使用双输入图像在多大程度上提升了恢复对焦图像的质量？
• RQ4 该方法在不同组织切片类型和成像条件下的鲁棒性如何？
• RQ5 恢复的对焦图像是否足以维持足够质量，以支持准确的下游分析（如细胞计数）？

主要发现

• 所提出的TSVA方法在使用双输入时，与标准U-Net相比平均PSNR提升3.49 dB，证明其图像重建质量更优。
• PSNR增益最高的情况出现在±0.5 μm离焦偏移处，这在实际应用中也是最常估计的焦面位置。
• 该方法具有强大的泛化能力，在来自不同来源的多个测试集上均保持一致性能，平均PSNR较U-Net提升3.49 dB。
• 在恢复的对焦图像上，平均细胞计数误差仅为0.12，表明对下游诊断准确性影响极小。
• 每张切片的图像采集次数从21次减少到仅2次，显著加快扫描速度，同时保持高图像质量。
• 主观评估表明，TSVA在关键的±1 μm离焦范围内产生的结构错误少于U-Net。