[论文解读] ProtoDiv: Prototype-guided Division of Consistent Pseudo-bags for Whole-slide Image Classification

Rui Yang, Pei Liu+1 more|arXiv (Cornell University)|Apr 13, 2023

Image Retrieval and Classification Techniques被引用 5

一句话总结

本文提出ProtoDiv，一种基于原型引导、即插即用的全切片图像（WSIs）伪袋生成方法，以增强弱监督多实例学习（MIL）分类。通过使用基于均值或注意力机制的原型来引导分层随机采样，ProtoDiv确保伪袋保留组织表型分布，从而实现一致且自适应的数据增强，显著提升在两个公开WSI数据集上七个基线模型的分类性能。

ABSTRACT

Due to the limitations of inadequate Whole-Slide Image (WSI) samples with weak labels, pseudo-bag-based multiple instance learning (MIL) appears as a vibrant prospect in WSI classification. However, the pseudo-bag dividing scheme, often crucial for classification performance, is still an open topic worth exploring. Therefore, this paper proposes a novel scheme, ProtoDiv, using a bag prototype to guide the division of WSI pseudo-bags. Rather than designing complex network architecture, this scheme takes a plugin-and-play approach to safely augment WSI data for effective training while preserving sample consistency. Furthermore, we specially devise an attention-based prototype that could be optimized dynamically in training to adapt to a classification task. We apply our ProtoDiv scheme on seven baseline models, and then carry out a group of comparison experiments on two public WSI datasets. Experiments confirm our ProtoDiv could usually bring obvious performance improvements to WSI classification.

研究动机与目标

• 通过改进多实例学习（MIL）中的数据增强，解决计算病理学中有限且弱标注的全切片图像（WSIs）带来的挑战。
• 开发一种可泛化、即插即用的伪袋生成方法，确保训练样本中保留组织表型分布。
• 通过引入动态、基于原型的方法，克服现有伪袋划分方案的局限性——如随机划分（缺乏一致性）和基于聚类的方法（计算开销大且静态），以实现更优的性能。
• 实现高效、可扩展的数据增强，提升模型泛化能力，且无需修改网络架构。

提出的方法

• ProtoDiv引入一种从WSI图像块特征中提取的袋原型，可为均值向量（静态）或训练过程中学习的注意力机制自适应原型。
• 利用原型计算每个图像块与原型之间的相似度得分，实现分层随机采样以完成伪袋划分。
• 通过将WSI划分为多个子袋，确保各子袋在组织表型分布上保持平衡，使每个子袋均能反映父袋的表型组成。
• 该方法设计为现有MIL框架的插件模块，无需修改主干模型架构。
• 注意力机制原型具有可微性，并在训练过程中联合优化，使其能自适应地表征当前分类任务中最具判别性的组织模式。
• 采用归一化相似度度量，确保所有伪袋在采样上的一致性与代表性。

实验结果

研究问题

• RQ1 基于原型引导的伪袋划分方案是否能提升全切片图像分类中训练样本的一致性与代表性？
• RQ2 与随机划分和基于K-means聚类的伪袋划分相比，所提出的ProtoDiv方法在性能与效率方面表现如何？
• RQ3 在WSI MIL任务中，注意力机制原型是否比静态均值原型展现出更好的自适应性与性能？
• RQ4 ProtoDiv在不同WSI数据集上对多样化MIL模型的性能提升程度如何？
• RQ5 超参数如伪袋数量（n）和组织表型聚类数（l）对最终分类性能的影响程度如何？

主要发现

• 采用注意力机制原型的ProtoDiv在ABMIL上取得0.863的AUC，优于随机划分（0.861）和K-means划分（0.858），在TCGA-BRCA数据集上表现更优。
• 采用均值原型的ProtoDiv在ABMIL上取得0.872的AUC，显著优于随机划分（0.861）和K-means划分（0.858）的基线表现。
• ProtoDiv的耗时仅为每张WSI 1.296秒（均值原型）和1.381秒（注意力原型），远低于K-means聚类的144.231秒，展现出极高的效率。
• 当伪袋数量（n）超过10后，AUC性能对表型数量（l）的敏感度降低，表明在高多样性设置下具有良好的稳定性。
• 在不同超参数设置下，ProtoDiv的AUC性能在0.8369至0.8715之间波动，显著优于基线（n=1时AUC为0.7975）。
• 可视化结果证实，注意力机制原型能有效捕捉组织表型，且通过ProtoDiv生成的伪袋在表型区域上均匀分布图像块，确保了样本的代表性。