[论文解读] Weakly Supervised AI for Efficient Analysis of 3D Pathology Samples

Andrew H. Song, Mane Williams+9 more|arXiv (Cornell University)|Jul 27, 2023

AI in cancer detection被引用 4

一句话总结

该论文提出MAMBA，一种用于3D病理图像分析的弱监督深度学习框架，通过利用来自多种成像模态的体积组织块实现患者级别的风险分层。通过在3D组织块上应用多重实例学习，MAMBA在前列腺癌5年生化复发预测中实现了0.86的AUC，优于2D单切片方法，并通过更大组织体积的分析减少了采样偏差。

ABSTRACT

Human tissue and its constituent cells form a microenvironment that is fundamentally three-dimensional (3D). However, the standard-of-care in pathologic diagnosis involves selecting a few two-dimensional (2D) sections for microscopic evaluation, risking sampling bias and misdiagnosis. Diverse methods for capturing 3D tissue morphologies have been developed, but they have yet had little translation to clinical practice; manual and computational evaluations of such large 3D data have so far been impractical and/or unable to provide patient-level clinical insights. Here we present Modality-Agnostic Multiple instance learning for volumetric Block Analysis (MAMBA), a deep-learning-based platform for processing 3D tissue images from diverse imaging modalities and predicting patient outcomes. Archived prostate cancer specimens were imaged with open-top light-sheet microscopy or microcomputed tomography and the resulting 3D datasets were used to train risk-stratification networks based on 5-year biochemical recurrence outcomes via MAMBA. With the 3D block-based approach, MAMBA achieves an area under the receiver operating characteristic curve (AUC) of 0.86 and 0.74, superior to 2D traditional single-slice-based prognostication (AUC of 0.79 and 0.57), suggesting superior prognostication with 3D morphological features. Further analyses reveal that the incorporation of greater tissue volume improves prognostic performance and mitigates risk prediction variability from sampling bias, suggesting the value of capturing larger extents of heterogeneous 3D morphology. With the rapid growth and adoption of 3D spatial biology and pathology techniques by researchers and clinicians, MAMBA provides a general and efficient framework for 3D weakly supervised learning for clinical decision support and can help to reveal novel 3D morphological biomarkers for prognosis and therapeutic response.

研究动机与目标

• 为解决2D组织病理学的临床局限性，实现对完整组织块的3D体积分析。
• 克服由于数据规模和复杂性导致病理学家难以手动评估3D图像的不切实际性。
• 开发一种与成像模态无关的深度学习框架，实现在无需像素级标注的情况下对3D病理图像进行弱监督学习。
• 通过捕捉更大组织体积中空间异质的3D形态学特征，提高预后准确性。
• 提供一种可泛化的计算平台，用于临床决策支持，实现最小标注下的3D病理分析。

提出的方法

• MAMBA采用多重实例学习（MIL）框架，将每个3D组织块视为一组图像块的集合，模型从弱标签的集合中学习预测患者结局。
• 该框架使用3D时空卷积神经网络和Swin变换器对3D图像块进行特征编码。
• 全局注意力机制将图像块级特征聚合为集合级预测，实现仅使用患者级标签的端到端训练。
• 基于Grad-CAM的类激活图（Grad-CAM++）用于生成显著性热图，可视化对预测贡献最大的3D区域。
• 该方法在存档的前列腺癌样本的开放顶光片显微镜和微CT图像上进行训练，风险分层基于5年生化复发。
• 通过积分梯度（IG）增强模型可解释性，突出显示3D体积中具有区分性的形态学特征。

实验结果

研究问题

• RQ1 弱监督深度学习框架在3D病理分析中是否能优于传统2D单切片分析，实现更优的预后表现？
• RQ2 在3D分析中引入更大的组织体积是否能减少采样偏差并提高预测的一致性？
• RQ3 与成像模态无关的框架是否能有效处理来自光片显微镜和微CT等多样化成像模态的3D病理图像？
• RQ4 哪些3D形态学特征对患者结局最具预测性，能否通过可解释AI技术进行解读？
• RQ5 体积分析在多大程度上提升了前列腺癌5年生化复发预测的受试者工作特征曲线下面积（AUC）？

主要发现

• MAMBA在使用光片显微镜数据进行前列腺癌5年生化复发预测时，AUC达到0.86，显著优于2D单切片方法（AUC 0.79）。
• 对于微CT数据，MAMBA的AUC为0.74，而2D单切片分析仅为0.57，表明3D形态学分析可提升预后性能。
• 在3D块基分析中引入更大的组织体积，降低了风险预测的变异性并缓解了采样偏差。
• Grad-CAM++和积分梯度（IG）可视化揭示了在3D组织块中具有生物学合理性的、空间异质的形态学特征，这些特征对患者结局预测有贡献。
• 该模型在多种成像模态（包括光片显微镜和微CT）上表现出泛化能力，证实了其与成像模态无关的设计。
• 交互式演示和开源代码使社区能够访问并进一步开发3D弱监督病理分析工具。