[论文解读] Synthetic DOmain-Targeted Augmentation (S-DOTA) Improves Model Generalization in Digital Pathology

Sai Chowdary Gullapally, Yibo Zhang+21 more|arXiv (Cornell University)|May 3, 2023

AI in cancer detection被引用 5

一句话总结

本文提出合成域-目标增强（S-DOTA），一种用于数字病理学的域泛化方法，通过基于CycleGAN的扫描仪转换（ST）和基于物理的染色矢量增强（SVA），提升模型在不同扫描仪和染色方案下的鲁棒性。S-DOTA 显著增强了分布外（OOD）泛化能力——在OOD测试集上达到高达93.7%的宏F1分数，同时保持了分布内性能，优于ICC校准和基线增强方法，在多种病理任务和疾病类型中表现更优。

ABSTRACT

Machine learning algorithms have the potential to improve patient outcomes in digital pathology. However, generalization of these tools is currently limited by sensitivity to variations in tissue preparation, staining procedures and scanning equipment that lead to domain shift in digitized slides. To overcome this limitation and improve model generalization, we studied the effectiveness of two Synthetic DOmain-Targeted Augmentation (S-DOTA) methods, namely CycleGAN-enabled Scanner Transform (ST) and targeted Stain Vector Augmentation (SVA), and compared them against the International Color Consortium (ICC) profile-based color calibration (ICC Cal) method and a baseline method using traditional brightness, color and noise augmentations. We evaluated the ability of these techniques to improve model generalization to various tasks and settings: four models, two model types (tissue segmentation and cell classification), two loss functions, six labs, six scanners, and three indications (hepatocellular carcinoma (HCC), nonalcoholic steatohepatitis (NASH), prostate adenocarcinoma). We compared these methods based on the macro-averaged F1 scores on in-distribution (ID) and out-of-distribution (OOD) test sets across multiple domains, and found that S-DOTA methods (i.e., ST and SVA) led to significant improvements over ICC Cal and baseline on OOD data while maintaining comparable performance on ID data. Thus, we demonstrate that S-DOTA may help address generalization due to domain shift in real world applications.

研究动机与目标

• 解决因扫描仪、染色方案和实验室特异性处理差异导致的数字病理学领域偏移问题。
• 提升模型在真实临床环境中对未见实验室和扫描仪的分布外（OOD）数据的泛化能力。
• 开发一种可扩展的、有针对性的增强策略，在训练过程中模拟多样化的领域偏移，而无需依赖大量真实的OOD数据。
• 在分布内（ID）和分布外（OOD）测试集上，将S-DOTA方法（ST和SVA）与ICC校准和标准数据增强方法进行性能比较。
• 在多种模型类型（组织分割、细胞分类）、损失函数和疾病指征（HCC、NASH、前列腺腺癌）上验证该方法的有效性。

提出的方法

• S-DOTA采用基于CycleGAN的扫描仪转换（ST），学习特定扫描仪类型之间的域到域图像翻译，从而实现模拟分布外扫描仪域的数据增强。
• S-DOTA引入了基于物理的染色矢量增强（SVA），通过来自多样化来源的精选染色矢量对图像块进行变换，以模拟不同的染色色彩特征。
• ST和SVA均作为训练时增强手段，利用分布内图像生成模拟目标域特征的合成数据。
• 通过在多个实验室、扫描仪和疾病指征上计算分布内（ID）和分布外（OOD）测试集的宏平均F1分数，评估该方法的性能。
• 在相同的训练和评估协议下，将性能与基于ICC配置文件的颜色校准（ICC Cal）和标准增强方法（亮度、色彩、噪声）进行对比。
• 在HCC分类任务中，结合监督对比损失（SCL）与交叉熵损失，进一步评估泛化性能。

实验结果

研究问题

• RQ1 S-DOTA方法（ST和SVA）能否提升模型在未见实验室和扫描仪的分布外（OOD）数据上的泛化能力？
• RQ2 ST和SVA在保持分布内（ID）性能的同时，相较于ICC校准和基线增强方法，在提升OOD泛化能力方面表现如何？
• RQ3 基于物理的染色矢量增强（SVA）是否比针对特定扫描仪的CycleGAN（ST）带来更鲁棒的领域泛化？
• RQ4 S-DOTA方法在多种疾病指征（HCC、NASH、前列腺腺癌）和模型架构上的性能提升程度如何？
• RQ5 将S-DOTA与对比学习（SCL）结合，是否能相比标准交叉熵训练进一步提升泛化性能？

主要发现

• S-DOTA方法（ST和SVA）在OOD测试集上显著优于ICC校准和基线增强方法，在三个OOD扫描仪上HCC细胞分类任务的宏F1最高达到93.73%。
• 在HCC细胞模型中，SVA在OOD（11,GT450）上达到93.73%的宏F1，优于基线（88.96%）和ICC校准（92.51%），展现出更优的OOD泛化能力。
• 在NASH细胞模型中，S-DOTA方法（ST和SVA）在OOD（11,GT450）和（11,DP200）上分别达到85.92%和85.11%的宏F1，优于ICC校准（85.07%）和基线（81.19%）。
• 在前列腺腺癌细胞模型中，S-DOTA（ST和SVA）在OOD（1,DP200）上分别达到61.88%和60.98%的宏F1，优于基线（51.54%）和ICC校准（56.95%）。
• 当与监督对比损失（SCL）结合时，S-DOTA（ST和SVA）在OOD（7,Scan II）上分别达到60.94%和60.00%的宏F1，优于基线+SCL（46.23%）和ICC校准+SCL（41.26%）。
• S-DOTA方法在分布内（ID）性能上与ICC校准和基线相当或更优，表明在标准测试集上未出现性能下降。