[论文解读] Natural vs Balanced Distribution in Deep Learning on Whole Slide Images for Cancer Detection

Ismat Ara Reshma, Sylvain Cussat‐Blanc+3 more|arXiv (Cornell University)|Dec 21, 2020

AI in cancer detection参考文献 38被引用 4

一句话总结

本研究比较了在全切片图像（WSI）癌症检测的深度学习中，自然（不平衡）类分布与人工平衡类分布的表现。通过10折交叉验证，结果表明：在保留非感兴趣区域（non-ROI）像素的前提下，使用自然类分布进行训练可减少误报，同时保持相当的召回率，所有指标下均优于平衡类分布。

ABSTRACT

The class distribution of data is one of the factors that regulates the performance of machine learning models. However, investigations on the impact of different distributions available in the literature are very few, sometimes absent for domain-specific tasks. In this paper, we analyze the impact of natural and balanced distributions of the training set in deep learning (DL) models applied on histological images, also known as whole slide images (WSIs). WSIs are considered as the gold standard for cancer diagnosis. In recent years, researchers have turned their attention to DL models to automate and accelerate the diagnosis process. In the training of such DL models, filtering out the non-regions-of-interest from the WSIs and adopting an artificial distribution (usually, a balanced distribution) is a common trend. In our analysis, we show that keeping the WSIs data in their usual distribution (which we call natural distribution) for DL training produces fewer false positives (FPs) with comparable false negatives (FNs) than the artificially-obtained balanced distribution. We conduct an empirical comparative study with 10 random folds for each distribution, comparing the resulting average performance levels in terms of five different evaluation metrics. Experimental results show the effectiveness of the natural distribution over the balanced one across all the evaluation metrics.

研究动机与目标

• 调查自然类分布与人工平衡类分布在全切片图像（WSI）癌症检测中深度学习性能的影响。
• 评估保留非感兴趣区域（non-ROI）像素（通常被过滤掉）是否能提升模型泛化能力并减少误报。
• 通过实证比较自然分布与平衡分布下的性能，挑战WSI深度学习中常见的数据平衡做法。
• 提供证据表明，常被丢弃的non-ROI数据可通过捕捉组织学结构中的类间相似性，提升模型鲁棒性。
• 通过倡导使用自然数据分布，为未来WSI训练协议提供建议，以减少病理科医生因误报而产生的工作负担。

提出的方法

• 从转移性淋巴结数据集中收集并预处理全切片图像（WSIs），对癌症（C）、非癌症（¬C）和非ROI（O）区域进行真实标签标注。
• 使用相同架构训练两个完全相同的深度学习模型（E.a 和 E.b），二者仅在训练数据分布上不同：E.a 使用自然分布（不平衡），E.b 使用人工平衡分布。
• 应用标准的数据增强和迁移学习技术（如ImageNet预训练）以确保模型间比较的公平性。
• 通过10折交叉验证确保结果的稳健性并降低性能评估中的方差。
• 使用五项指标评估模型：准确率、F1值、精确率、召回率和AUC，重点关注精确率-召回率之间的权衡。
• 通过可视化预测结果与真实标签掩码，分析失败案例，识别误报的主要原因，特别是与组织学结构相似性相关的问题。

实验结果

研究问题

• RQ1 在WSI训练中使用自然不平衡类分布是否能比人工平衡类分布带来更好的癌症检测性能？
• RQ2 非感兴趣区域（non-ROI）像素在多大程度上有助于减少深度学习模型在WSI分析中的误报？
• RQ3 通过在训练中包含具有代表性的non-ROI样本，能否缓解ROI区域与non-ROI区域之间组织学结构（如血液、纤维化）的类间相似性？
• RQ4 在WSI深度学习中，是否普遍采用的数据平衡做法最优化了误报最小化与敏感性保持之间的平衡？
• RQ5 在真实世界的WSI环境中，基于自然分布训练的模型与基于平衡分布训练的模型在多项评估指标上的表现如何比较？

主要发现

• 在自然分布（E.a）上训练的模型产生的误报显著少于在平衡分布（E.b）上训练的模型，同时保持了相近的召回率水平。
• 在100%召回率下，E.a的精确率显著高于随机猜测基线，而E.b的精确率仅略高于随机猜测，表明其泛化能力差。
• 在所有折中，E.a的性能指标标准差始终更低，表明自然分布带来更稳定、更可靠的结果。
• 视觉分析显示，E.b的误报主要源于类间相似性——即ROI和non-ROI类别中均存在血液、纤维化或淋巴细胞区域，这是由于训练期间此类non-ROI模式代表性不足所致。
• 在训练中包含non-ROI像素有助于模型学习区分细微的组织学结构，从而减少将良性外观区域误判为癌变。
• 本研究得出结论：在数据准备阶段过滤non-ROI区域可能是适得其反的，因为这些样本能提升模型鲁棒性，并在临床部署中减少误报。