[论文解读] Rethinking Multiple Instance Learning for Whole Slide Image Classification: A Good Instance Classifier is All You Need

Linhao Qu, Yingfan Ma+3 more|arXiv (Cornell University)|Jul 5, 2023

Image Retrieval and Classification TechniquesComputer Science被引用 3

一句话总结

本文提出INS，一种用于全切片图像分类的新型实例级多实例学习框架，通过弱监督对比学习和基于原型的伪标签生成，同时提升实例分类与包分类性能。通过联合训练对比特征学习器与基于原型的分类器，该方法在仅使用切片级标签的情况下，实现了高质量伪标签与鲁棒特征表示，显著优于现有MIL方法，在多个数据集上达到最先进性能。

ABSTRACT

Weakly supervised whole slide image classification is usually formulated as a multiple instance learning (MIL) problem, where each slide is treated as a bag, and the patches cut out of it are treated as instances. Existing methods either train an instance classifier through pseudo-labeling or aggregate instance features into a bag feature through attention mechanisms and then train a bag classifier, where the attention scores can be used for instance-level classification. However, the pseudo instance labels constructed by the former usually contain a lot of noise, and the attention scores constructed by the latter are not accurate enough, both of which affect their performance. In this paper, we propose an instance-level MIL framework based on contrastive learning and prototype learning to effectively accomplish both instance classification and bag classification tasks. To this end, we propose an instance-level weakly supervised contrastive learning algorithm for the first time under the MIL setting to effectively learn instance feature representation. We also propose an accurate pseudo label generation method through prototype learning. We then develop a joint training strategy for weakly supervised contrastive learning, prototype learning, and instance classifier training. Extensive experiments and visualizations on four datasets demonstrate the powerful performance of our method. Codes are available at https://github.com/miccaiif/INS.

研究动机与目标

• 为解决现有弱监督MIL方法在全切片图像分类中的局限性，特别是噪声伪标签与基于注意力的实例定位不准确问题。
• 在缺乏实例级标注的情况下，通过引入新型弱监督对比学习目标，提升实例级特征表示能力。
• 利用原型学习生成高质量、准确的正样本伪标签，相比基于包标签继承的方法，显著降低噪声。
• 设计一种联合训练策略，同步优化对比学习、原型学习与实例分类，实现端到端性能提升。
• 证明仅通过增强对比学习与原型学习的强实例分类器，即可在全切片图像分类中实现最先进结果。

提出的方法

• 提出实例级弱监督对比学习（IWSCL），仅使用包级标签学习判别性实例级表征，利用真实负样本作为锚点。
• 提出基于原型的伪标签生成方法，通过测量实例与正样本包原型的相似度，计算实例级伪标签，相比包标签继承方法显著提升标签准确性。
• 设计一种联合训练策略，同步优化实例分类器、对比损失与原型学习目标，以提升特征与标签质量。
• 采用移动平均更新策略处理伪标签，以稳定训练过程并提升泛化能力。
• 使用带有注意力机制的包级分类头以优化包预测，同时利用高质量伪标签训练实例分类器。
• 应用t-SNE可视化与线性/SVM探测，评估学习到的特征表示与伪标签质量。

实验结果

研究问题

• RQ1 当仅提供包级标签时，弱监督对比学习是否能有效学习全切片图像中的判别性实例级表征？
• RQ2 在MIL中，基于原型的伪标签生成是否相比简单的包标签继承，能产生更准确、更少噪声的实例标签？
• RQ3 结合对比学习、原型学习与实例分类的联合训练策略，是否能显著提升实例级与包级分类性能？
• RQ4 在多个真实世界全切片图像数据集上，该方法在实例与包分类任务的AUC表现上，与最先进MIL方法相比如何？
• RQ5 所提出的组件——对比学习与原型学习——在性能提升中各自及协同发挥多大作用？

主要发现

• 在Camelyon16数据集上，INS实现实例AUC为0.9583，包AUC为0.9016，优于所有对比方法。
• 消融实验表明，若移除实例级弱监督对比学习（IWSCL）损失，实例AUC下降5.78个百分点，证明其关键作用。
• 所提出的基于原型的伪标签生成方法显著提升标签质量，表现为伪标签AUC在训练周期中持续上升。
• t-SNE可视化结果表明，INS提取的特征能清晰分离正负实例，而SimCLR的特征则表现出显著重叠。
• 对预提取特征进行线性与SVM探测显示，INS生成的特征表现最佳，表明其具有优越的表征学习能力。
• 即使不使用对比损失或移动平均更新策略，INS仍优于所有基线方法，证实整体框架的鲁棒性与有效性。