[论文解读] Where is VALDO? VAscular Lesions Detection and segmentatiOn challenge at MICCAI 2021

Carole H. Sudre, Ivan Ezhov+3 more|EUR Research Repository (Erasmus University Rotterdam)|Aug 15, 2022

Cerebrospinal fluid and hydrocephalus被引用 6

一句话总结

本论文介绍了在2021年MICCAI会议上举办的VAscular Lesions Detection and Segmentation（VALDO）挑战赛，该挑战赛评估了利用弱标签和噪声标签对脑小血管病的小型稀疏MRI标志物——扩大血管周围间隙（EPVS）、微出血和腔隙性梗死——进行自动检测与分割的方法。结果显示，在群体水平上，EPVS和微出血的性能表现令人鼓舞，但腔隙性梗死的结果不一致，凸显了由于病例间高度变异性，导致在个体水平临床应用面临挑战。

ABSTRACT

Imaging markers of cerebral small vessel disease provide valuable information on brain health, but their manual assessment is time-consuming and hampered by substantial intra- and interrater variability. Automated rating may benefit biomedical research, as well as clinical assessment, but diagnostic reliability of existing algorithms is unknown. Here, we present the results of the extit{VAscular Lesions DetectiOn and Segmentation} ( extit{Where is VALDO?}) challenge that was run as a satellite event at the international conference on Medical Image Computing and Computer Aided Intervention (MICCAI) 2021. This challenge aimed to promote the development of methods for automated detection and segmentation of small and sparse imaging markers of cerebral small vessel disease, namely enlarged perivascular spaces (EPVS) (Task 1), cerebral microbleeds (Task 2) and lacunes of presumed vascular origin (Task 3) while leveraging weak and noisy labels. Overall, 12 teams participated in the challenge proposing solutions for one or more tasks (4 for Task 1 - EPVS, 9 for Task 2 - Microbleeds and 6 for Task 3 - Lacunes). Multi-cohort data was used in both training and evaluation. Results showed a large variability in performance both across teams and across tasks, with promising results notably for Task 1 - EPVS and Task 2 - Microbleeds and not practically useful results yet for Task 3 - Lacunes. It also highlighted the performance inconsistency across cases that may deter use at an individual level, while still proving useful at a population level.

研究动机与目标

• 推进使用弱监督学习对关键脑小血管病（CSVD）标志物——扩大血管周围间隙（EPVS）、微出血和腔隙性梗死——进行自动检测与分割。
• 解决临床需求：实现可靠且可扩展的CSVD标志物量化，因为目前这些标志物的评估依赖人工操作，存在较高的组内和组间变异。
• 评估深度学习及其他方法在具有噪声和稀疏标注的多队列MRI数据上的性能表现。
• 评估自动化工具在群体水平研究与个体临床决策支持中的可行性。
• 识别性能不一致的问题，并提出改进方案，如不确定性估计和置信度评分，以实现实际部署。

提出的方法

• 挑战赛使用了来自ALFA、SABRE和Rotterdam Scan研究的多队列T1-和T2*-加权MRI数据，用于训练和评估。
• 参赛者应用了弱监督学习策略，利用EPVS、微出血和腔隙性梗死的噪声或稀疏标注。
• 对于任务1（EPVS），团队使用T1加权图像及稀疏标注；对于任务2（微出血），使用T2*加权GRE或磁敏感加权成像（SWI）及稀疏标签；对于任务3（腔隙性梗死），使用T1和T2*加权图像及稀疏标签。
• 评估采用标准指标：分割任务使用Dice分数，检测任务使用F1分数，结果在多个数据集上汇总。
• 针对腔隙性梗死引入了一种新型的不确定性感知评估方法，鼓励模型输出预测置信度分数。
• 基线方法包括U-Net变体、注意力机制和集成模型，无需密集标注。

实验结果

研究问题

• RQ1 弱监督深度学习模型能否在多队列MRI数据中实现EPVS、微出血和腔隙性梗死的可靠检测与分割？
• RQ2 模型性能在不同成像协议和患者队列之间如何变化？
• RQ3 当前自动化方法在多大程度上支持群体水平的流行病学研究，而非个体临床诊断？
• RQ4 标签噪声和稀疏性对模型泛化能力和可靠性有何影响？
• RQ5 不确定性估计能否提升自动化CSVD标志物检测的临床可用性？

主要发现

• 挑战赛吸引了12支团队参与，其中4支团队参与任务1（EPVS），9支团队参与任务2（微出血），6支团队参与任务3（腔隙性梗死），表明对自动化CSVD标志物量化具有广泛兴趣。
• 对于EPVS（任务1），表现最佳的模型平均Dice分数超过0.6，表明在弱监督下分割性能优异。
• 对于微出血（任务2），模型的F1分数达到约0.7–0.8，尽管病灶小且背景噪声高，仍表现出稳健的检测能力。
• 对于腔隙性梗死（任务3），性能不一致，最佳模型的F1分数仅为中等水平（约0.5–0.6），且病例间变异性高，限制了其临床实用性。
• 个体病例间的性能变异性显著，表明自动化工具可能更适合群体水平研究，而非个体诊断。
• 在任务3中引入不确定性估计后发现，具备置信度意识的模型可提升可靠性，为实现更安全的临床部署提供了可行路径。