[论文解读] Slideflow: Deep Learning for Digital Histopathology with Real-Time Whole-Slide Visualization

James M. Dolezal, Sara Kochanny+7 more|arXiv (Cornell University)|Apr 9, 2023

AI in cancer detection被引用 8

一句话总结

Slideflow 是一个面向数字病理学的灵活、框架无关的库，能够在 TensorFlow 或 PyTorch 后端下实现快速全幻灯片图像处理以及对预测、热力图和特征分析的实时可视化。

ABSTRACT

Deep learning methods have emerged as powerful tools for analyzing histopathological images, but current methods are often specialized for specific domains and software environments, and few open-source options exist for deploying models in an interactive interface. Experimenting with different deep learning approaches typically requires switching software libraries and reprocessing data, reducing the feasibility and practicality of experimenting with new architectures. We developed a flexible deep learning library for histopathology called Slideflow, a package which supports a broad array of deep learning methods for digital pathology and includes a fast whole-slide interface for deploying trained models. Slideflow includes unique tools for whole-slide image data processing, efficient stain normalization and augmentation, weakly-supervised whole-slide classification, uncertainty quantification, feature generation, feature space analysis, and explainability. Whole-slide image processing is highly optimized, enabling whole-slide tile extraction at 40X magnification in 2.5 seconds per slide. The framework-agnostic data processing pipeline enables rapid experimentation with new methods built with either Tensorflow or PyTorch, and the graphical user interface supports real-time visualization of slides, predictions, heatmaps, and feature space characteristics on a variety of hardware devices, including ARM-based devices such as the Raspberry Pi.

研究动机与目标

• 为数字病理学 DL 方法提供一个灵活、框架无关的库。
• 实现跨硬件的全幻灯片实时可视化与交互。
• 支持高级处理：染色归一化、增强、弱监督 WSIs、不确定性量化和可解释性。
• 促进在不重新处理数据或切换软件栈的情况下快速试验新架构。

提出的方法

• 将 Slideflow 建设为一个支持广泛 DL 方法的数字病理学库。
• 实现一个快速的全幻灯片接口，能够对幻灯片、预测、热力图和特征空间进行实时可视化。
• 整合用于高效染色归一化和增强的数据处理工具。
• 包括弱监督全幻灯片分类、不确定性量化、特征生成、特征空间分析和可解释性组件。
• 提供一个与 TensorFlow 或 PyTorch 后端兼容的框架无关管线。
• 将全幻灯片切片提取优化至 40X 放大倍数，达到每张幻灯片 2.5 秒。

实验结果

研究问题

• RQ1 Slideflow 是否能够在不切换软件堆栈的情况下，快速对不同的深度学习方法进行数字病理学实验？
• RQ2 在跨硬件平台的情况下，实时可视化与预测、热力图和特征空间分析的集成效果如何？
• RQ3 使用框架无关、端到端的 WSI 处理管线时，效率和可访问性能带来哪些提升？
• RQ4 在消费级硬件（如树莓派等 ARM 设备）上， 不确定性量化和可解释性在 WSI 工作流中的集成程度如何？

主要发现

• Slideflow 在单一库中支持数字病理学的广泛 DL 方法。
• 全幻灯片处理经过高度优化，实现 40X 切片提取仅需 2.5 秒/张幻灯片。
• 界面支持幻灯片、预测、热力图与特征空间特征的实时可视化。
• 管线为框架无关，支持 TensorFlow 或 PyTorch 后端，便于在方法之间进行快速试验。
• 系统可在包括基于 ARM 的设备（如 Raspberry Pi）等多种硬件上运行。
• 包含染色归一化、增强、 不确定性量化和可解释性工具。