[论文解读] Towards better understanding and better generalization of few-shot classification in histology images with contrastive learning

Jiawei Yang, Hanbo Chen+3 more|arXiv (Cornell University)|Feb 18, 2022

AI in cancer detection被引用 11

一句话总结

本文提出了一种对比学习（CL）与潜在增强（LA）框架，用于组织病理学图像的少样本分类，通过自监督表示学习和无监督语义迁移提升泛化能力。实验表明，CL模型在未见组织病理学类别上的泛化能力显著优于监督模型，且LA在跨域任务中持续提升性能。

ABSTRACT

Few-shot learning is an established topic in natural images for years, but few work is attended to histology images, which is of high clinical value since well-labeled datasets and rare abnormal samples are expensive to collect. Here, we facilitate the study of few-shot learning in histology images by setting up three cross-domain tasks that simulate real clinics problems. To enable label-efficient learning and better generalizability, we propose to incorporate contrastive learning (CL) with latent augmentation (LA) to build a few-shot system. CL learns useful representations without manual labels, while LA transfers semantic variations of the base dataset in an unsupervised way. These two components fully exploit unlabeled training data and can scale gracefully to other label-hungry problems. In experiments, we find i) models learned by CL generalize better than supervised learning for histology images in unseen classes, and ii) LA brings consistent gains over baselines. Prior studies of self-supervised learning mainly focus on ImageNet-like images, which only present a dominant object in their centers. Recent attention has been paid to images with multi-objects and multi-textures. Histology images are a natural choice for such a study. We show the superiority of CL over supervised learning in terms of generalization for such data and provide our empirical understanding for this observation. The findings in this work could contribute to understanding how the model generalizes in the context of both representation learning and histological image analysis. Code is available.

研究动机与目标

• 通过支持少样本学习，解决临床应用中组织病理学数据标注有限的挑战。
• 在真实域偏移（近域、中域和域外）条件下，研究组织病理学图像中的少样本学习与泛化少样本学习。
• 探究样本选择（相同WSI与不同WSI）对少样本性能的影响。
• 通过结合对比学习与潜在增强，提升模型泛化能力和标签效率。
• 提供实证见解，解释为何对比学习在非标志性、多对象组织病理学图像中优于监督学习。

提出的方法

• 在无标签的大规模基础数据集上，使用对比学习（SimCLR风格）预训练表示编码器。
• 应用潜在增强（LA）以无监督方式将基础数据集中的语义变化转移到潜在空间。
• 将预训练的CL编码器作为特征提取器用于少样本分类，基于来自新类别的少量标注样本进行微调。
• 在ResNet-18的多个阶段（第2至第4阶段）的归一化潜在特征上执行K-means聚类，以可视化特征聚集情况。
• 使用全局池化特征与局部特征之间的余弦相似度生成相似性热力图，以分析注意力模式。
• 在NCT、LC-25K和PAIP数据集的三个跨域任务上，使用H-mean、基础类准确率和新类准确率评估性能。

实验结果

研究问题

• RQ1 在少样本组织病理学图像分类中，对比学习是否在域偏移条件下仍优于监督学习？
• RQ2 潜在增强如何通过利用基础数据集中的未标注数据来提升少样本泛化能力？
• RQ3 为何对比学习与监督模型之间的泛化差距在组织病理学图像中大于自然图像？
• RQ4 在多对象、多纹理的组织病理学图像中，CL与监督模型的注意力模式和特征聚类有何不同？
• RQ5 样本选择（相同WSI与不同WSI）是否影响少样本性能？CL与LA如何缓解此问题？

主要发现

• 对比学习模型在泛化到未见组织病理学类别方面显著优于监督模型，在NCT数据集上达到65.74%的H-mean。
• 所提方法结合CL与LA后，H-mean达到75.77%，显著优于基线（65.74%），表明两种组件均带来一致性能提升。
• 潜在增强在所有三个跨域任务中均持续提升性能，即使新类别来自不同域，也观察到性能增益。
• 对比学习与监督模型之间的泛化差距在组织病理学图像中大于自然图像，表明CL在复杂、多对象组织中具有更强的可迁移表征能力。
• 可视化结果表明，CL模型能更有效地关注判别性局部特征（如细胞核、肿瘤细胞），而监督模型常无法编码非主导但具有信息量的区域。
• 对分类器进行L2归一化可提升性能，最佳结果（75.77% H-mean）在训练和推理阶段均使用L2归一化特征时达成。