[论文解读] Synthetic Data as Validation

Qixin Hu, Alan Yuille+1 more|arXiv (Cornell University)|Oct 24, 2023

Radiomics and Machine Learning in Medical Imaging被引用 4

一句话总结

本文提出将合成肿瘤叠加在健康CT影像上作为验证集，以减少过拟合并提升肝脏肿瘤分割模型的泛化能力，尤其在早期癌症检测方面。通过采用动态扩展合成数据的持续学习框架，该方法将域内数据集中小肿瘤（半径 <5mm）的敏感度从33.1%提升至55.4%，域外数据集中小肿瘤的敏感度从33.9%提升至52.3%，显著提升了早期检测性能。

ABSTRACT

This study leverages synthetic data as a validation set to reduce overfitting and ease the selection of the best model in AI development. While synthetic data have been used for augmenting the training set, we find that synthetic data can also significantly diversify the validation set, offering marked advantages in domains like healthcare, where data are typically limited, sensitive, and from out-domain sources (i.e., hospitals). In this study, we illustrate the effectiveness of synthetic data for early cancer detection in computed tomography (CT) volumes, where synthetic tumors are generated and superimposed onto healthy organs, thereby creating an extensive dataset for rigorous validation. Using synthetic data as validation can improve AI robustness in both in-domain and out-domain test sets. Furthermore, we establish a new continual learning framework that continuously trains AI models on a stream of out-domain data with synthetic tumors. The AI model trained and validated in dynamically expanding synthetic data can consistently outperform models trained and validated exclusively on real-world data. Specifically, the DSC score for liver tumor segmentation improves from 26.7% (95% CI: 22.6%-30.9%) to 34.5% (30.8%-38.2%) when evaluated on an in-domain dataset and from 31.1% (26.0%-36.2%) to 35.4% (32.1%-38.7%) on an out-domain dataset. Importantly, the performance gain is particularly significant in identifying very tiny liver tumors (radius &lt; 5mm) in CT volumes, with Sensitivity improving from 33.1% to 55.4% on an in-domain dataset and 33.9% to 52.3% on an out-domain dataset, justifying the efficacy in early detection of cancer. The application of synthetic data, from both training and validation perspectives, underlines a promising avenue to enhance AI robustness when dealing with data from varying domains.

研究动机与目标

• 为解决医学AI中真实世界数据有限、有偏且难以标注的问题，特别是针对早期肿瘤的挑战。
• 克服小规模、静态验证集无法代表域外或罕见病例的局限性。
• 通过在训练过程中使用多样化合成肿瘤作为动态验证集，提升模型的泛化能力和鲁棒性。
• 通过合成数据实现持续学习，提升在域内和域外数据集中对微小肝脏肿瘤（半径 <5mm）的检测能力。
• 证明合成数据在验证中可超越真实数据，实现更优的模型选择与性能表现。

提出的方法

• 采用基于建模的策略生成合成肿瘤，以控制其形状、大小、纹理、位置和强度，确保真实感。
• 将合成肿瘤添加至健康CT影像中，构建大规模、多样化的验证集，替代或补充真实验证数据。
• 引入一种持续学习框架，持续在包含合成肿瘤的域外数据流上进行训练，实现模型的动态适应。
• 基于在扩展后的合成验证集上的表现选择模型检查点，以覆盖广泛的肿瘤特征分布。
• 框架利用域内合成肿瘤验证（如FLARE’23数据集），以提升与真实测试集的对齐度，增强检查点选择的准确性。
• 在来自多家医院的真实、全标注CT影像上评估性能，以衡量域内与域外泛化能力。

实验结果

研究问题

• RQ1 合成数据能否作为可靠且多样的验证集，以改善AI开发中的模型选择，尤其是在真实数据稀缺的情况下？
• RQ2 使用合成数据作为验证集，对肝脏肿瘤分割在域内和域外测试集上的模型泛化能力有何影响？
• RQ3 合成数据在多大程度上可提升对微小肝脏肿瘤（半径 <5mm）的检测能力，以支持早期癌症诊断？
• RQ4 基于合成数据训练的持续学习框架，是否能在敏感度与鲁棒性方面超越仅基于静态真实数据训练的模型？
• RQ5 与域外或真实验证集相比，域内合成肿瘤验证是否能提升检查点选择的准确性？

主要发现

• 在使用合成数据作为验证集时，域内测试集中对微小肝脏肿瘤（半径 <5mm）的敏感度从33.1%提升至55.4%。
• 在域外测试集中，采用合成验证策略后，微小肿瘤的敏感度从33.9%提升至52.3%。
• 在域内数据集上，肝脏肿瘤分割的Dice相似系数（DSC）从26.7%（95%置信区间：22.6%–30.9%）提升至34.5%（30.8%–38.2%）。
• 在域外数据集上，DSC从31.1%（26.0%–36.2%）提升至35.4%（32.1%–38.7%），采用合成验证策略。
• 域内合成肿瘤验证集准确识别出最佳模型检查点，其结果与真实测试集选择的检查点一致，证明了其可靠性。
• 采用合成数据的持续学习框架在检测稀有和微小肿瘤方面，始终优于仅基于真实数据训练与验证的模型。