[论文解读] OpenSRH: optimizing brain tumor surgery using intraoperative stimulated Raman histology

Cheng Jiang, Asadur Chowdury+8 more|PubMed|Jun 16, 2022

Spectroscopy Techniques in Biomedical and Chemical Research参考文献 37被引用 12

一句话总结

本论文介绍了OpenSRH，这是首个公开的术中刺激拉曼组织学（SRH）图像数据集，涵盖300多名脑瘤患者的影像，实现了快速、无标记的光学成像以及基于深度学习的诊断。通过结合SRH与基于人工智能的分类和分割，该框架实现了高精度、实时的术中手术决策支持，利用对比表示学习，模型在多类脑瘤分类中的患者层面准确率最高达到95.3%。

ABSTRACT

Accurate intraoperative diagnosis is essential for providing safe and effective care during brain tumor surgery. Our standard-of-care diagnostic methods are time, resource, and labor intensive, which restricts access to optimal surgical treatments. To address these limitations, we propose an alternative workflow that combines stimulated Raman histology (SRH), a rapid optical imaging method, with deep learning-based automated interpretation of SRH images for intraoperative brain tumor diagnosis and real-time surgical decision support. Here, we present <i>OpenSRH</i>, the first public dataset of clinical SRH images from 300+ brain tumors patients and 1300+ unique whole slide optical images. OpenSRH contains data from the most common brain tumors diagnoses, full pathologic annotations, whole slide tumor segmentations, raw and processed optical imaging data for end-to-end model development and validation. We provide a framework for patch-based whole slide SRH classification and inference using weak (i.e. patient-level) diagnostic labels. Finally, we benchmark two computer vision tasks: multiclass histologic brain tumor classification and patch-based contrastive representation learning. We hope OpenSRH will facilitate the clinical translation of rapid optical imaging and real-time ML-based surgical decision support in order to improve the access, safety, and efficacy of cancer surgery in the era of precision medicine. Dataset access, code, and benchmarks are available at https://opensrh.mlins.org.

研究动机与目标

• 为解决脑瘤手术中因传统术中病理流程缓慢、资源消耗大而造成的重大瓶颈。
• 开发一种快速、标准化且准确的替代方案，以替代传统冰冻切片和细胞学诊断，利用光学成像与人工智能技术。
• 发布OpenSRH，这是首个公开可用的临床SRH图像数据集，包含完整的病理标注、全切片肿瘤分割以及原始/处理后的成像数据。
• 实现神经外科术中实时诊断的端到端深度学习模型开发与验证。
• 推动快速光学成像与基于人工智能的决策支持在精准肿瘤学中的临床转化。

提出的方法

• 本研究采用刺激拉曼组织学（SRH），一种无标记的光学成像技术，可在2–3分钟内获取新鲜、未经处理的手术标本的高分辨率图像。
• SRH图像在两个拉曼位移（2845 cm⁻¹ 和 2930 cm⁻¹）下采集，随后通过边缘裁剪、平面校正和配准技术拼接为全切片图像。
• 对非重叠的300×300像素图像块应用预训练的肿瘤分割模型，将区域分类为肿瘤、正常脑组织或无法诊断。
• 利用基于图像块的分类和对比表示学习（SimCLR、SupCon）方法，通过弱患者级诊断标签训练深度学习模型。
• 评估在ResNet50和视觉Transformer（ViT-S）主干网络上使用ImageNet、SimCLR和SupCon预训练的迁移学习性能。
• 该框架支持多类分类和表示学习任务的线性评估与微调两种协议。

实验结果

研究问题

• RQ1 结合深度学习的刺激拉曼组织学（SRH）能否在极少病理基础设施投入的前提下，实现脑瘤的快速、准确术中诊断？
• RQ2 与ImageNet预训练相比，对比表示学习（SimCLR、SupCon）在SRH全切片图像上的脑瘤分类性能如何？
• RQ3 在OpenSRH数据集上，不同模型架构（ResNet50与ViT-S）以及不同训练协议（线性评估与微调）下的模型性能表现如何？
• RQ4 仅使用患者级标签的弱监督学习在SRH图像分类中能否实现高诊断准确率？
• RQ5 数据模态（原始SRH与处理后的虚拟H&E染色图像）对下游分类与表示学习性能有何影响？

主要发现

• OpenSRH数据集包含来自300多名患者的1300多张全切片光学图像，包含完整的病理标注、肿瘤分割以及原始/处理后的SRH数据。
• 采用ResNet50主干网络与SupCon对比学习方法，模型在多类脑瘤分类中的患者层面准确率达到95.3%。
• 使用SupCon预训练进行微调后，模型在患者层面分类任务中达到94.9%的平均精度（MAP）和91.7%的准确率，优于ImageNet和SimCLR基线模型。
• ViT-S架构在SupCon预训练下实现了92.2%的患者层面准确率，表明即使模型规模较小，性能依然出色。
• 对比表示学习（SupCon）显著提升了泛化能力，在线性评估中达到91.5%的准确率，微调阶段达到94.6%的准确率，适用于患者层面诊断。
• 混淆矩阵显示特异性高且假阴性率低，尤其在脑膜瘤和转移性肿瘤中表现突出，表明诊断结果具有高度可靠性。