[论文解读] SKM-TEA: A Dataset for Accelerated MRI Reconstruction with Dense Image Labels for Quantitative Clinical Evaluation

Arjun Desai, Andrew Schmidt+10 more|arXiv (Cornell University)|Mar 13, 2022

Radiomics and Machine Learning in Medical Imaging被引用 7

一句话总结

SKM-TEA 是一个 1.6TB 的临床导向磁共振成像（MRI）数据集，包含来自 155 名患者的原始 k 空间数据、DICOM 图像、定量 T2 图像以及密集标注（分割与病灶信息）。该数据集支持端到端、以生物标志物为导向的 MRI 重建与分析模型评估，采用定量组织健康指标，揭示了标准机器学习指标与临床相关的 T2 估计之间存在显著不一致。

ABSTRACT

Magnetic resonance imaging (MRI) is a cornerstone of modern medical imaging. However, long image acquisition times, the need for qualitative expert analysis, and the lack of (and difficulty extracting) quantitative indicators that are sensitive to tissue health have curtailed widespread clinical and research studies. While recent machine learning methods for MRI reconstruction and analysis have shown promise for reducing this burden, these techniques are primarily validated with imperfect image quality metrics, which are discordant with clinically-relevant measures that ultimately hamper clinical deployment and clinician trust. To mitigate this challenge, we present the Stanford Knee MRI with Multi-Task Evaluation (SKM-TEA) dataset, a collection of quantitative knee MRI (qMRI) scans that enables end-to-end, clinically-relevant evaluation of MRI reconstruction and analysis tools. This 1.6TB dataset consists of raw-data measurements of ~25,000 slices (155 patients) of anonymized patient MRI scans, the corresponding scanner-generated DICOM images, manual segmentations of four tissues, and bounding box annotations for sixteen clinically relevant pathologies. We provide a framework for using qMRI parameter maps, along with image reconstructions and dense image labels, for measuring the quality of qMRI biomarker estimates extracted from MRI reconstruction, segmentation, and detection techniques. Finally, we use this framework to benchmark state-of-the-art baselines on this dataset. We hope our SKM-TEA dataset and code can enable a broad spectrum of research for modular image reconstruction and image analysis in a clinically informed manner. Dataset access, code, and benchmarks are available at https://github.com/StanfordMIMI/skm-tea.

研究动机与目标

• 通过提供与真实世界诊断需求一致的数据集，解决 MRI 重建与分析中的临床可转化性差距。
• 克服标准图像质量指标（如 pSNR、SSIM）和分割指标（如 DSC、ASSD）与临床相关 T2 生物标志物准确度相关性弱的局限性。
• 利用定量组织健康图作为真实值，实现从原始数据重建到组织分割与病灶检测的 MRI 流水线端到端评估。
• 提供一种标准化框架，将模型输出与定量 MRI 生物标志物进行对比评估，以提升临床信任度与实用性。
• 结合传统指标与临床有意义的 T2 估计误差，对最先进模型进行基准测试，揭示性能差异。

提出的方法

• 整理大规模、匿名化的膝关节 MRI 数据集，共包含 155 名患者的 25,000 幅膝关节 MRI 切片，涵盖原始 k 空间数据、重建后的 DICOM 图像以及定量 T2 图像。
• 生成密集的专家验证标注：四类组织分割（股骨、胫骨、髌骨软骨及半月板）以及每项研究中 16 个病灶边界框。
• 开发多任务评估框架，使用组织特异性 T2 图像作为真实值，计算重建与分割输出的绝对 T2 估计误差。
• 将数据集集成至基准测试流水线，包含两个赛道：原始数据（用于重建）与 DICOM（用于分割与检测）。
• 使用皮尔逊相关系数量化标准机器学习指标（pSNR、SSIM、DSC、ASSD）与解剖亚区 T2 估计误差之间的不一致程度。
• 通过 GitHub 与 Python 包（pip install skm-tea）分发数据集、代码与基准测试工具，供社区使用。

实验结果

研究问题

• RQ1 标准图像质量与分割指标（如 pSNR、SSIM、DSC、ASSD）与膝关节 MRI 中临床相关的 T2 生物标志物估计误差之间的相关性如何？
• RQ2 最先进 MRI 重建与分割模型在多大程度上保持了定量组织健康信息，其准确性以 T2 图像测量为准？
• RQ3 膝关节的哪些解剖亚区对重建与分割误差在 T2 估计中的敏感性最高？
• RQ4 与传统指标相比，基于生物标志物的评估框架是否能提升模型性能与临床实用性的对齐？
• RQ5 在不同软骨与半月板亚区中，展开式重建模型与 U-Net 基模型在 T2 值估计方面的性能表现有何差异？

主要发现

• 标准图像质量指标（pSNR 与 SSIM）与亚区 T2 估计误差的相关性较弱，皮尔逊相关系数分别为 ≤ 0.42 与 0.54。
• 分割指标如 DSC 与 ASSD 与 T2 误差的相关性同样较弱（|ρ| ≤ 0.36），尤其在骨关节炎进展最相关的内侧间室中更为明显。
• 所有模型中，关节软骨的 T2 估计系统性偏高，而半月板的 T2 估计系统性偏低，表明基于分割的生物标志物估计存在一致偏差。
• 髌骨软骨与半月板的 T2 估计方差最大，使其对分割质量与重建伪影最为敏感。
• 展开式重建模型在 T2 估计中的偏差低于 U-Net 模型，尽管两者在准确性上均表现出显著的区域差异。
• 该框架揭示，即使 DSC 或 SSIM 分数较高的模型，仍可能生成临床误导性的 T2 图像，凸显在临床部署中采用以生物标志物为中心的评估的必要性。