[论文解读] Technical Report: Quality Assessment Tool for Machine Learning with Clinical CT

Riqiang Gao, Mirza S. Khan+7 more|arXiv (Cornell University)|Jul 27, 2021

Radiomics and Machine Learning in Medical Imaging参考文献 33被引用 4

一句话总结

本文提出了一种用户友好、自动化的流程，用于识别和解决大规模临床CT数据集在机器学习应用中的图像质量问题。该工具应用于国家肺部筛查试验（NLST）数据，检测出约4%的17,392例扫描存在质量问题——如运动伪影、重建错误和协议不一致等，展示了其在各类临床数据集中的鲁棒性和泛化能力，代码与教程已公开提供。

ABSTRACT

Image Quality Assessment (IQA) is important for scientific inquiry, especially in medical imaging and machine learning. Potential data quality issues can be exacerbated when human-based workflows use limited views of the data that may obscure digital artifacts. In practice, multiple factors such as network issues, accelerated acquisitions, motion artifacts, and imaging protocol design can impede the interpretation of image collections. The medical image processing community has developed a wide variety of tools for the inspection and validation of imaging data. Yet, IQA of computed tomography (CT) remains an under-recognized challenge, and no user-friendly tool is commonly available to address these potential issues. Here, we create and illustrate a pipeline specifically designed to identify and resolve issues encountered with large-scale data mining of clinically acquired CT data. Using the widely studied National Lung Screening Trial (NLST), we have identified approximately 4% of image volumes with quality concerns out of 17,392 scans. To assess robustness, we applied the proposed pipeline to our internal datasets where we find our tool is generalizable to clinically acquired medical images. In conclusion, the tool has been useful and time-saving for research study of clinical data, and the code and tutorials are publicly available at https://github.com/MASILab/QA_tool.

研究动机与目标

• 为解决在机器学习中使用的临床CT数据中图像质量评估（IQA）这一未被充分认识的挑战。
• 识别并解决影响模型性能的常见数据质量问题——如运动伪影、重建错误和协议不一致。
• 开发一种可扩展、用户友好的工具，支持对临床采集的CT扫描进行大规模数据挖掘。
• 验证该流程在NLST以外的多样化临床影像数据集中的鲁棒性和泛化能力。

提出的方法

• 该流程整合了专为临床CT设计的自动化质量评估技术，重点检测DICOM图像数据集中的伪影和不一致性。
• 通过视觉和定量分析，标记出存在噪声、条状伪影、部分容积效应及窗宽不一致等问题的扫描。
• 该方法结合图像处理与机器学习技术，对大规模数据集中的图像完整性进行评估。
• 以国家肺部筛查试验（NLST）为基准，用于训练和验证工具的检测能力。
• 该流程设计为可扩展和可配置，通过模块化组件适应其他临床CT数据集。
• 该工具包含可视化和报告功能，帮助研究人员高效诊断和解决数据质量问题。

实验结果

研究问题

• RQ1 在大规模数据集中，有多少比例的临床采集CT扫描存在可能影响机器学习模型性能的图像质量问题？
• RQ2 所提出的流程在检测不同临床数据中常见CT伪影（如运动伪影、噪声和重建错误）方面的有效性如何？
• RQ3 该工具在NLST以外的其他临床CT数据集中的泛化能力如何？
• RQ4 该流程能否减少人工检查时间并提升医学影像研究中的数据整理效率？
• RQ5 网络问题、加速扫描以及协议差异对大规模CT数据挖掘中的图像质量有何影响？

主要发现

• 该流程检测出国家肺部筛查试验（NLST）中17,392例临床CT扫描中约4%存在图像质量问题。
• 最常见的质量问题包括运动伪影、重建错误和不一致的成像协议。
• 当应用于NLST以外的内部临床数据集时，该工具表现出强大的鲁棒性和泛化能力。
• 该流程通过自动化识别问题扫描，显著减少了人工数据整理时间。
• 该工具的代码和教程已公开，使医学影像研究社区能够广泛采用并进一步扩展。
• 本研究证实，临床CT数据中的图像质量问题普遍存在，且可借助自动化、可扩展的方法系统性检测。