[论文解读] Rethinking Attention-Based Multiple Instance Learning for Whole-Slide Pathological Image Classification: An Instance Attribute Viewpoint

Linghan Cai, Shenjin Huang+3 more|arXiv (Cornell University)|Mar 30, 2024

AI in cancer detection被引用 4

一句话总结

该论文提出了一种新型的多实例学习框架——属性驱动的多实例学习（AttriMIL），用于全切片图像（WSI）分类。该框架通过可学习的属性评分机制替代不可靠的注意力分数，更准确地量化实例对分类结果的贡献。通过引入空间约束和排序约束，建模单张WSI内部及不同WSI之间的实例相关性，AttriMIL提升了组织类型判别能力和肿瘤定位精度，在三个公开基准数据集上优于当前最先进方法，同时具备更强的可解释性与分布外（OOD）检测能力。

ABSTRACT

Multiple instance learning (MIL) is a robust paradigm for whole-slide pathological image (WSI) analysis, processing gigapixel-resolution images with slide-level labels. As pioneering efforts, attention-based MIL (ABMIL) and its variants are increasingly becoming popular due to the characteristics of simultaneously handling clinical diagnosis and tumor localization. However, the attention mechanism exhibits limitations in discriminating between instances, which often misclassifies tissues and potentially impairs MIL performance. This paper proposes an Attribute-Driven MIL (AttriMIL) framework to address these issues. Concretely, we dissect the calculation process of ABMIL and present an attribute scoring mechanism that measures the contribution of each instance to bag prediction effectively, quantifying instance attributes. Based on attribute quantification, we develop a spatial attribute constraint and an attribute ranking constraint to model instance correlations within and across slides, respectively. These constraints encourage the network to capture the spatial correlation and semantic similarity of instances, improving the ability of AttriMIL to distinguish tissue types and identify challenging instances. Additionally, AttriMIL employs a histopathology adaptive backbone that maximizes the pre-trained model's feature extraction capability for collecting pathological features. Extensive experiments on three public benchmarks demonstrate that our AttriMIL outperforms existing state-of-the-art frameworks across multiple evaluation metrics. The implementation code is available at https://github.com/MedCAI/AttriMIL.

研究动机与目标

• 解决基于注意力的多实例学习在全切片图像分类中因注意力分数不可靠而难以区分组织类型的挑战。
• 通过新颖的属性评分机制，量化每个图像块对袋级别预测的贡献，提升实例判别能力。
• 利用空间属性约束与排序约束，建模图像块之间的空间与语义相关性，以提升模型泛化能力。
• 通过属性分数的可解释性，实现分布外（OOD）样本检测。
• 开发一种适配组织病理学的主干网络，以增强全切片图像的特征提取能力。

提出的方法

• 提出一种属性评分机制，量化每个实例对袋预测的贡献，取代注意力分数作为实例相关性的主要指标。
• 引入空间属性约束，通过鼓励具有相似属性的邻近图像块获得一致的评分，以建模单张WSI内部的局部空间相关性。
• 设计属性排序损失，通过在不同WSI之间对正样本排序高于负样本，强制实现语义相似性，提升跨滑片的一致性。
• 采用在病理数据上预训练的组织病理学自适应主干网络，以提升图像块嵌入的特征表示质量。
• 使用可学习的聚合函数，对所有实例的属性分数进行求和，并以0为阈值判断袋级别预测结果。
• 采用多分支分类头，每个分支对应一个诊断类别，最终预测结果基于聚合后的属性分数是否超过0。

Figure 1: Illustration of ABMIL and our AttriMIL. For features, red cuboids denote positive attributes and blue cuboids are negative; for scores, redder colors represent higher scores and bluer colors indicate lower ones. Notably, for a positive bag, existing methods [ 6 , 7 , 8 , 4 , 5 ] generally

实验结果

研究问题

• RQ1 在全切片图像分类中，属性分数是否能比注意力分数更可靠地衡量实例贡献？
• RQ2 如何有效建模图像块之间的空间与跨滑片相关性，以提升实例判别能力？
• RQ3 属性评分机制是否能在病理图像分析中实现分布外（OOD）样本检测？
• RQ4 集成组织病理学自适应主干网络是否能提升特征表示质量与分类性能？
• RQ5 与现有基于ABMIL的方法相比，AttriMIL在肿瘤定位精度方面提升了多少？

主要发现

• AttriMIL在三个公开的WSI基准数据集（Camelyon16、PatchCamelyon、UniToPatho）上，于AUC、F1-score等多个评估指标上均优于当前最先进方法。
• 属性评分机制显著提升了对阳性实例的定位能力，尤其在小尺寸或细微的肿瘤区域表现突出，定性分析结果验证了这一点。
• AttriMIL能有效区分嵌入肿瘤区域的阴性实例，如LUAD中的肺泡腺样结构与LUSC中的结缔组织，展现出卓越的判别能力。
• 属性排序损失使模型能够学习到跨滑片的有意义实例排序，增强了泛化能力与鲁棒性。
• 通过识别所有分支得分均低于0的样本，AttriMIL实现了有效的OOD检测，展现出其在临床诊断系统安全性方面的潜力。
• 消融实验表明，空间属性约束与属性排序损失均对性能提升有显著贡献，尤其在复杂组织区域表现更优。

Figure 2: Overview of AttriMIL framework. For an input WSI, AttriMIL crops it into patches and adopts a histopathology adaptive backbone to extract instance features. Afterward, AttriMIL generates instance attribute scores in each subtype branch (tumor and normal in the tumor detection task) using a