[论文解读] Real-time Prediction of Segmentation Quality

R. H. Robinson, Ozan Oktay+18 more|arXiv (Cornell University)|Jun 16, 2018

Advanced X-ray and CT Imaging参考文献 7被引用 13

一句话总结

本文提出了一种基于深度学习的方法，利用Dice相似性系数（DSC）作为度量标准，实现实时预测心血管磁共振图像分割质量。在有真实标签的情况下，平均绝对误差（MAE）为0.03；在无真实标签的情况下，MAE为0.14，可在扫描过程中实现毫秒级反馈，从而在临床决策前检测到低质量分割结果。

ABSTRACT

Recent advances in deep learning based image segmentation methods have enabled real-time performance with human-level accuracy. However, occasionally even the best method fails due to low image quality, artifacts or unexpected behaviour of black box algorithms. Being able to predict segmentation quality in the absence of ground truth is of paramount importance in clinical practice, but also in large-scale studies to avoid the inclusion of invalid data in subsequent analysis. In this work, we propose two approaches of real-time automated quality control for cardiovascular MR segmentations using deep learning. First, we train a neural network on 12,880 samples to predict Dice Similarity Coefficients (DSC) on a per-case basis. We report a mean average error (MAE) of 0.03 on 1,610 test samples and 97% binary classification accuracy for separating low and high quality segmentations. Secondly, in the scenario where no manually annotated data is available, we train a network to predict DSC scores from estimated quality obtained via a reverse testing strategy. We report an MAE=0.14 and 91% binary classification accuracy for this case. Predictions are obtained in real-time which, when combined with real-time segmentation methods, enables instant feedback on whether an acquired scan is analysable while the patient is still in the scanner. This further enables new applications of optimising image acquisition towards best possible analysis results.

研究动机与目标

• 实现实时临床环境中自动化心脏MR分割质量的评估。
• 在不依赖真实标签的情况下检测低质量分割，这对大规模研究至关重要。
• 与反向测试方法相比，将质量评估所需时间从数分钟缩短至毫秒级别。
• 开发一种可扩展、可部署的框架，与实时分割流水线兼容。
• 通过可迁移的质量度量标准，在完全标注和数据稀缺两种场景下验证性能。

提出的方法

• 使用12,880个标注病例训练卷积神经网络（CNN），直接从输入MR图像预测DSC分数。
• 在零样本场景下，使用源自反向测试（RCA）的质量评分而非真实标签进行训练，从而实现在无手动标注情况下的应用。
• 基于RCA的方法使用100张具有验证分割结果的参考图像，估算类似DSC的度量标准用于训练。
• 模型以病例为单位预测DSC，并执行二分类任务，以区分高质量（>0.5 DSC）和低质量分割。
• 在CPU上推理时间少于600 ms，在GPU上为40 ms，支持与采集工作流程的实时集成。
• 该框架在英国生物银行影像研究的1,610个测试病例上进行评估，包含按结构分类和整体心脏分割分析。

实验结果

研究问题

• RQ1 深度学习模型是否能在真实标签不可用的情况下，仍以高精度实现实时预测分割质量？
• RQ2 在有无手动标注的情况下，DSC预测网络的性能表现有何差异？
• RQ3 反向测试（RCA）评分在在多大程度上可作为训练质量预测网络的替代标签？
• RQ4 所提出的方法是否能在保持临床相关准确率的同时实现亚秒级推理时间？
• RQ5 该模型对图像质量变化和分割边界误差的鲁棒性如何？

主要发现

• 在使用真实标签训练的情况下，模型在1,610个测试病例上实现了0.03的平均绝对误差（MAE），表明回归精度很高。
• 在真实标签场景下，二分类准确率达到97%，可有效区分低质量（DSC < 0.5）和高质量（DSC ≥ 0.5）分割。
• 在无真实标签的情况下，模型使用RCA生成的标签，实现了0.14的MAE，二分类准确率为91%。
• 推理时间缩短至GPU上40 ms，CPU上600 ms，比传统RCA方法（660秒）快逾10,000倍。
• 模型在所有心脏结构（LV、LVM、RVC、BG、WH）上均表现优异，背景和左心室腔的误差最低。
• 该框架支持在MRI扫描过程中实现实时反馈，若预测分割质量不佳，可立即触发扫描重采样。