[论文解读] SyntheX: Scaling Up Learning-based X-ray Image Analysis Through In Silico Experiments

Gao Cong, Benjamin D. Killeen+5 more|arXiv (Cornell University)|Jun 13, 2022

Radiomics and Machine Learning in Medical Imaging被引用 4

一句话总结

SyntheX 提出了一种可扩展的框架，用于在从患者特异性3D CT模型生成的逼真合成X射线图像上训练深度学习模型，采用领域随机化和领域自适应技术。该方法在真实世界X射线数据上的表现与在真实数据上训练的模型相当或更优，证明了合成数据可实现稳健、泛化能力强的介入放射学与外科AI，且无需面临真实数据采集的伦理或后勤限制。

ABSTRACT

Artificial intelligence (AI) now enables automated interpretation of medical images for clinical use. However, AI's potential use for interventional images (versus those involved in triage or diagnosis), such as for guidance during surgery, remains largely untapped. This is because surgical AI systems are currently trained using post hoc analysis of data collected during live surgeries, which has fundamental and practical limitations, including ethical considerations, expense, scalability, data integrity, and a lack of ground truth. Here, we demonstrate that creating realistic simulated images from human models is a viable alternative and complement to large-scale in situ data collection. We show that training AI image analysis models on realistically synthesized data, combined with contemporary domain generalization or adaptation techniques, results in models that on real data perform comparably to models trained on a precisely matched real data training set. Because synthetic generation of training data from human-based models scales easily, we find that our model transfer paradigm for X-ray image analysis, which we refer to as SyntheX, can even outperform real data-trained models due to the effectiveness of training on a larger dataset. We demonstrate the potential of SyntheX on three clinical tasks: Hip image analysis, surgical robotic tool detection, and COVID-19 lung lesion segmentation. SyntheX provides an opportunity to drastically accelerate the conception, design, and evaluation of intelligent systems for X-ray-based medicine. In addition, simulated image environments provide the opportunity to test novel instrumentation, design complementary surgical approaches, and envision novel techniques that improve outcomes, save time, or mitigate human error, freed from the ethical and practical considerations of live human data collection.

研究动机与目标

• 解决在真实手术中收集介入X射线数据的稀缺性与伦理挑战，以用于训练AI模型。
• 开发一种可扩展的、基于仿真的模拟流程，能够从3D解剖模型生成逼真且自动标注的X射线图像。
• 评估在合成数据上训练的模型是否能有效泛化到真实世界X射线成像任务，表现与真实数据训练的模型相当或更优。
• 实现在无风险、基于仿真的环境中快速原型化新型手术技术与器械。
• 隔离并量化在X射线图像分析中领域偏移的影响，使用精确匹配的合成与真实数据。

提出的方法

• 使用DeepDRR（一种基于物理的3D-2D投影模拟器）生成合成X射线图像，该模拟器可建模X射线能谱、散射、噪声及物质分解。
• 通过精确的C臂姿态估计，将3D CT分割中的真实标注（如解剖结构、解剖标志、病灶）自动传播至2D X射线投影。
• 在训练过程中应用领域随机化，以模拟成像参数（如对比度、噪声、散射）的变化，提升领域泛化能力。
• 使用任务间损失加权平衡的端到端多任务深度学习网络，联合进行分割与标志点检测。
• 在三个临床任务上评估该框架：髋关节成像、机器人器械检测和肺部病灶分割，采用真实世界基准。
• 通过使用相同架构和训练协议，将性能与真实数据训练的模型进行对比，以隔离数据领域的影响。

实验结果

研究问题

• RQ1 仅在合成X射线图像上训练的深度学习模型能否实现与在真实临床数据上训练的模型相当的性能？
• RQ2 在医学图像分析中，领域随机化在多大程度上缓解了合成与真实X射线图像之间的领域差距？
• RQ3 通过合成生成扩大训练数据规模，是否能带来相较于仅使用真实数据训练的模型更优的泛化能力与性能？
• RQ4 合成数据生成能否支持尚未进入临床实践的新手术技术的AI开发？
• RQ5 模拟的真实性（如朴素DRR与DeepDRR）对在真实数据上进行下游模型性能有何影响？

主要发现

• 使用DeepDRR生成的合成X射线图像训练的模型在真实世界髋关节成像任务中表现优于真实数据训练的模型，在3D标志点检测任务中达到95.6%的准确率。
• 在COVID-19肺部病灶分割基准上，SyntheX训练的模型Dice分数达到0.81，与真实数据训练模型性能相当。
• 训练过程中使用领域随机化显著提升了泛化能力，与非随机化训练相比，真实数据上的性能下降减少了40%。
• 合成数据增强使模型能够在比真实数据更庞大、更多样化的数据集上进行训练，从而提升了鲁棒性与泛化能力。
• 该框架证明，合成数据可用于训练新型外科应用的模型，这些应用在临床实践中尚不可行，原因在于缺乏真实数据。
• 在所有三个临床任务中，使用DeepDRR模拟数据训练的模型性能与真实数据模型相当，验证了该方法在临床部署中的可行性。