[论文解读] Multiple Instance Learning for Digital Pathology: A Review on the State-of-the-Art, Limitations & Future Potential

Michael Gadermayr, Maximilian Tschuchnig|arXiv (Cornell University)|Jun 9, 2022

AI in cancer detection被引用 5

一句话总结

本文综述了数字病理学中最新一代多实例学习（MIL）方法，重点关注能够仅使用切片级标签实现弱监督全切片图像（WSI）分类的深度MIL架构。文章指出注意力机制和混合实例-嵌入学习是新兴趋势，同时识别出数据稀缺和GPU内存限制为关键挑战，并呼吁通过改进数据增强和迁移学习来应对小样本数据集问题。

ABSTRACT

Digital whole slides images contain an enormous amount of information providing a strong motivation for the development of automated image analysis tools. Particularly deep neural networks show high potential with respect to various tasks in the field of digital pathology. However, a limitation is given by the fact that typical deep learning algorithms require (manual) annotations in addition to the large amounts of image data, to enable effective training. Multiple instance learning exhibits a powerful tool for learning deep neural networks in a scenario without fully annotated data. These methods are particularly effective in this domain, due to the fact that labels for a complete whole slide image are often captured routinely, whereas labels for patches, regions or pixels are not. This potential already resulted in a considerable number of publications, with the majority published in the last three years. Besides the availability of data and a high motivation from the medical perspective, the availability of powerful graphics processing units exhibits an accelerator in this field. In this paper, we provide an overview of widely and effectively used concepts of used deep multiple instance learning approaches, recent advances and also critically discuss remaining challenges and future potential.

研究动机与目标

• 调查数字病理学中广泛使用且有效的深度多实例学习（MIL）方法。
• 识别近期用于全切片图像（WSI）分类的MIL模型中的关键技术进步与架构创新。
• 批判性分析当前仍存在的局限性，如训练数据不足和GPU内存限制。
• 探索未来研究方向，包括数据增强和迁移学习，以提升小样本数据集上的性能。
• 提供MIL在数字病理学中应用的全面概述，重点聚焦技术革新而非临床应用。

提出的方法

• 本文综合分析了近期使用从全切片图像（WSIs）提取的图像块级特征来预测切片级标签的深度MIL方法。
• 强调注意力机制，使模型能够聚焦于WSI袋中的判别性图像块，从而提升可解释性和性能。
• 综述讨论了结合实例级与嵌入级表征的混合学习策略，以增强特征学习和分类准确性。
• 分析了使用预训练卷积神经网络（例如在ImageNet上预训练）进行特征提取，随后采用MIL特异性聚合技术（如词袋或聚类）的方法。
• 评估了基于计数的MIL方法，即通过将图像块级预测聚合为直方图，再使用SVM等模型进行后续分类。
• 对比了深度MIL与经典MIL及非深度学习方法，突出深度架构在处理高维WSI数据方面的优势。

实验结果

研究问题

• RQ1 当前在数字病理学的多实例学习中，最有效的深度学习架构与技术是什么？
• RQ2 在缺乏图像块级标注的情况下，注意力机制和混合实例-嵌入学习如何提升WSI分类性能？
• RQ3 阻碍MIL在数字病理学中性能与应用的主要局限性是什么，特别是数据稀缺与硬件约束方面？
• RQ4 迁移学习与数据增强在多大程度上可以缓解WSI分类中小样本训练数据集的挑战？
• RQ5 与传统分割和分类模型相比，MIL方法在可解释性与临床工作流程整合方面表现如何？

主要发现

• 注意力机制和混合实例-嵌入学习已成为近期数字病理学中深度MIL模型的主导趋势。
• 尽管架构相似，近期方法在损失函数、注意力机制和特征聚合策略方面表现出显著创新。
• 利用ImageNet等大规模数据集的预训练特征是普遍做法，尤其在结合MIL特异性微调时能显著提升性能。
• 基于直方图的计数型MIL方法结合SVM等浅层分类器，在全切片图像数量极少时仍表现出强劲性能。
• 观察到向端到端可训练MIL模型发展的明确趋势，但尚未出现单一主导架构或方法。
• 缺乏大规模、公开可用且组织学上相似的数据集用于迁移学习，仍是制约模型泛化能力和性能提升的主要障碍。