[论文解读] Results of the 2020 fastMRI Challenge for Machine Learning MR Image Reconstruction

Matthew J. Muckley, Bruno Riemenschneider+21 more|arXiv (Cornell University)|Dec 9, 2020

Radiomics and Machine Learning in Medical Imaging被引用 29

一句话总结

本文展示了2020年fastMRI挑战赛的结果，这是一场专注于利用7,299例去标识化脑部磁共振扫描的相空间子采样数据加速磁共振成像重建的机器学习竞赛。挑战赛引入了新的‘迁移’赛道，以评估模型在不同扫描仪厂商之间的泛化能力，并强调放射科医生对病灶显示的评估，最终产生了一种性能优于其他模型的最先进方法，在SSIM评分和临床评估方面均表现出色。

ABSTRACT

Accelerating MRI scans is one of the principal outstanding problems in the MRI research community. Towards this goal, we hosted the second fastMRI competition targeted towards reconstructing MR images with subsampled k-space data. We provided participants with data from 7,299 clinical brain scans (de-identified via a HIPAA-compliant procedure by NYU Langone Health), holding back the fully-sampled data from 894 of these scans for challenge evaluation purposes. In contrast to the 2019 challenge, we focused our radiologist evaluations on pathological assessment in brain images. We also debuted a new Transfer track that required participants to submit models evaluated on MRI scanners from outside the training set. We received 19 submissions from eight different groups. Results showed one team scoring best in both SSIM scores and qualitative radiologist evaluations. We also performed analysis on alternative metrics to mitigate the effects of background noise and collected feedback from the participants to inform future challenges. Lastly, we identify common failure modes across the submissions, highlighting areas of need for future research in the MRI reconstruction community.

研究动机与目标

• 通过使用机器学习加速图像重建来解决临床对更快磁共振扫描的需求。
• 提升模型在不同磁共振扫描仪厂商和扫描站点之间的泛化能力，这是临床部署的关键障碍。
• 通过将评估重点从整体图像质量转向临床病灶显示，提升评估的相关性。
• 提供一个大规模、公开可用的数据集，包含多 coil、子采样相空间数据，以支持可复现的研究。
• 识别当前指标和模型行为中的局限性，例如幻觉现象和对噪声的敏感性，以指导未来方法的发展。

提出的方法

• 使用伪等距采样掩码，对7,299例临床脑部磁共振扫描的回顾性全采样相空间数据进行子采样，以实现精确的4倍和8倍加速率。
• 采用基于端到端变分网络的强基线模型，为参赛者设定较高的性能基准。
• 引入新的“迁移”赛道，要求模型在训练集中未包含的磁共振扫描仪数据上进行评估，以测试跨厂商泛化能力。
• 保留相空间中心区域以支持并行成像和压缩感知方法的自校准。
• 通过SSIM进行定量评估，并通过聚焦于病灶结构可见性的放射科医生读片进行定性评估。
• 收集参赛者反馈，以改进未来挑战的设计，特别是关于计算资源需求和采样模式真实性的考量。

实验结果

研究问题

• RQ1 在多 coil、单厂商数据上训练的机器学习模型，能否有效泛化到未见过的磁共振扫描仪厂商？
• RQ2 将放射科医生评估的重点从整体图像质量转向病灶显示，会对模型排名和临床相关性产生何种影响？
• RQ3 在存在噪声或伪影的情况下，当前指标如SSIM和RSS在多大程度上无法捕捉到临床上相关的图像质量？
• RQ4 基于深度学习的磁共振成像重建模型在高加速因子下的常见失效模式是什么？
• RQ5 如何改进评估协议以降低幻觉风险，并更好地与临床图像解读对齐？

主要发现

• 有一支团队在SSIM评分和放射科医生评估中均取得最佳表现，为8倍加速下的磁共振成像重建设立了新的最先进水平。
• 迁移赛道揭示了在分布外扫描仪上的显著性能下降，凸显了临床部署中跨厂商泛化能力的挑战。
• 放射科医生对8倍加速和迁移赛道的图像评价态度不一，表明病灶显示仍是困难且开放的研究前沿。
• 参赛者报告称，挑战赛中使用的伪等距采样掩码未能完全复现真实厂商序列，表明模型可能需要进一步微调才能用于临床。
• 参赛者普遍担忧最先进的模型训练计算成本过高，部分仅使用单张GPU，表明这对学术研究人员构成了进入壁垒。
• 反馈表明，SSIM倾向于平滑化，可能与放射科医生对诊断细节的偏好相冲突，提示需要开发更符合人类感知和临床需求的改进型指标。