[论文解读] The Extreme Cardiac MRI Analysis Challenge under Respiratory Motion (CMRxMotion)

Shuo Wang, Chen Qin+13 more|arXiv (Cornell University)|Oct 12, 2022

Cardiac Imaging and Diagnostics被引用 13

一句话总结

本论文介绍了CMRxMotion挑战赛，这是一个通过前瞻性扫描40名健康志愿者在心脏磁共振成像（MRI）中处于受控、极端呼吸运动条件下的公开基准数据集。该挑战赛评估了模型在不同运动伪影条件下对图像质量评估和左/右心室分割的鲁棒性，采用Cohen's kappa和Dice/Hausdorff指标进行评估，并使用15名测试志愿者的结果对容器化模型进行最终离线评估。

ABSTRACT

The quality of cardiac magnetic resonance (CMR) imaging is susceptible to respiratory motion artifacts. The model robustness of automated segmentation techniques in face of real-world respiratory motion artifacts is unclear. This manuscript describes the design of extreme cardiac MRI analysis challenge under respiratory motion (CMRxMotion Challenge). The challenge aims to establish a public benchmark dataset to assess the effects of respiratory motion on image quality and examine the robustness of segmentation models. The challenge recruited 40 healthy volunteers to perform different breath-hold behaviors during one imaging visit, obtaining paired cine imaging with artifacts. Radiologists assessed the image quality and annotated the level of respiratory motion artifacts. For those images with diagnostic quality, radiologists further segmented the left ventricle, left ventricle myocardium and right ventricle. The images of training set (20 volunteers) along with the annotations are released to the challenge participants, to develop an automated image quality assessment model (Task 1) and an automated segmentation model (Task 2). The images of validation set (5 volunteers) are released to the challenge participants but the annotations are withheld for online evaluation of submitted predictions. Both the images and annotations of the test set (15 volunteers) were withheld and only used for offline evaluation of submitted containerized dockers. The image quality assessment task is quantitatively evaluated by the Cohen's kappa statistics and the segmentation task is evaluated by the Dice scores and Hausdorff distances.

研究动机与目标

• 建立一个公开基准数据集，以评估呼吸运动对心脏MRI图像质量影响的量化影响。
• 在真实临床条件下，评估自动化分割模型在极端呼吸运动伪影下的鲁棒性。
• 提供一个标准化的挑战框架，包含训练集、验证集和测试集，用于图像质量评估和分割任务。
• 通过标准化指标，实现不同严重程度运动伪影下深度学习模型的比较。
• 支持在患者呼吸屏气不一致的临床条件下，开发具有临床可靠性的AI工具用于心脏MRI。

提出的方法

• 招募40名健康志愿者，在单次MRI扫描中执行四种不同的屏气行为（保持屏气、半程屏气、自由呼吸和高强度呼吸）。
• 在3T扫描仪上，使用一致的扫描仪和协议，获取舒张末期和收缩末期的短轴面电影MRI成对图像，以隔离呼吸运动作为唯一变量。
• 使用放射科医生标注的图像质量标签（轻度、中度、重度运动伪影）以及对左心室、心肌和右心室的手动分割，用于诊断质量图像的评估。
• 发布训练集（20名志愿者）和验证集（5名志愿者）数据及标注，用于模型开发和在线评估。
• 保留测试集（15名志愿者）用于容器化Docker提交的离线评估，以确保公平性和可重复性。
• 使用Cohen's kappa评估图像质量评估，使用Dice分数和95% Hausdorff距离评估分割性能，采用MedPy和scikit-learn的实现方法。

实验结果

研究问题

• RQ1 呼吸运动严重程度如何影响心脏MRI电影图像的诊断质量？
• RQ2 自动化图像质量评估模型在区分轻度、中度和重度运动伪影方面的能力如何？
• RQ3 深度学习分割模型在极端条件下对呼吸运动伪影的鲁棒性如何？
• RQ4 在无伪影数据上训练的模型能否泛化到严重运动伪影图像？性能下降程度如何？
• RQ5 在不同运动伪影水平下，不同模型在左心室、心肌和右心室分割中的相对表现如何？

主要发现

• CMRxMotion挑战赛数据集提供了一个受控的前瞻性基准，包含40名志愿者和四种不同的屏气行为，用于模拟心脏MRI中的极端呼吸运动。
• 图像质量评估模型使用Cohen's kappa进行评估，排名通过自助重采样和配对Wilcoxon检验确定显著性。
• 分割模型使用Dice分数和95% Hausdorff距离进行评估，最终排名采用对左心室（LV）、心肌（MYO）和右心室（RV）结构的‘先排序后聚合’策略计算。
• 该挑战成功实现了对15个测试案例的离线评估，通过容器化Docker提交，确保了可重复性和公平性。
• 数据集和挑战框架可通过Synapse和挑战赛官网公开获取，支持未来在模型鲁棒性方面的研究。
• 表现最佳的模型在运动伪影下的泛化能力得到提升，凸显了在极端真实世界变异下对模型进行压力测试的价值。