[论文解读] Negative Evidence Matters in Interpretable Histology Image Classification

Soufiane Belharbi, Marco Pedersoli+3 more|arXiv (Cornell University)|Jan 7, 2022

AI in cancer detection被引用 6

一句话总结

该论文提出 NEGEV，一种用于可解释组织病理学图像分类的弱监督学习方法，通过组合损失函数同时利用来自类激活图（CAM）的正样本证据和训练数据中的完全负样本，实现更优的定位性能。通过使用在两类证据上训练的解码器对预测进行优化，NEGEV 在 GlaS 和 Camelyon16 基准上显著提升了定位准确率，且在仅使用图像级别标签、无需额外标注的情况下超越了当前最先进方法。

ABSTRACT

Using only global image-class labels, weakly-supervised learning methods, such as class activation mapping, allow training CNNs to jointly classify an image, and locate regions of interest associated with the predicted class. However, without any guidance at the pixel level, such methods may yield inaccurate regions. This problem is known to be more challenging with histology images than with natural ones, since objects are less salient, structures have more variations, and foreground and background regions have stronger similarities. Therefore, computer vision methods for visual interpretation of CNNs may not directly apply. In this paper, a simple yet efficient method based on a composite loss is proposed to learn information from the fully negative samples (i.e., samples without positive regions), and thereby reduce false positives/negatives. Our new loss function contains two complementary terms: the first exploits positive evidence collected from the CNN classifier, while the second leverages the fully negative samples from training data. In particular, a pre-trained CNN is equipped with a decoder that allows refining the regions of interest. The CNN is exploited to collect both positive and negative evidence at the pixel level to train the decoder. Our method called NEGEV benefits from the fully negative samples that naturally occur in the data, without any additional supervision signals beyond image-class labels. Extensive experiments show that our proposed method can substantial outperform related state-of-art methods on GlaS (public benchmark for colon cancer), and Camelyon16 (patch-based benchmark for breast cancer using three different backbones). Our results highlight the benefits of using both positive and negative evidence, the first obtained from a classifier, and the other naturally available in datasets.

研究动机与目标

• 解决因缺乏像素级监督而导致的弱监督组织病理学图像分类中定位不准确的问题。
• 通过联合利用 CAM 提供的正样本证据和自然存在的负样本，提升模型可解释性。
• 在不依赖密集标注或额外监督信号的前提下，减少 ROI 定位中的假阳性和假阴性。
• 设计一种简单而有效的损失函数，整合来自图像级别标签的正样本与负样本证据。

提出的方法

• 使用预训练的 CNN 分类器生成 CAM，为感兴趣区域提供正样本证据。
• 训练一个解码器网络，利用来自相同 CAM 的正样本与负样本证据，对分割预测进行优化。
• 复合损失函数结合两项：一项用于正样本证据（来自 CAM 激活），另一项用于完全负样本（无正样本区域的图像）。
• 模型采用端到端训练策略，其中分类器冻结，仅更新解码器。
• 训练过程中对每张图像随机采样前景与背景像素，以探索多样化区域。
• 该方法仅需图像级别标签，无需额外标注（如边界框、草图或区域大小信息）。

实验结果

研究问题

• RQ1 在弱监督组织病理学图像分类中，利用完全负样本是否能提升定位性能？
• RQ2 将 CAM 提供的正样本证据与完全负图像提供的负样本证据相结合，对模型可解释性与准确率有何影响？
• RQ3 一种同时整合正样本与负样本证据的复合损失函数，是否在组织病理学基准上优于现有弱监督方法？
• RQ4 仅使用图像级别标签的简单端到端训练策略，能否在组织病理学图像 ROI 定位任务中实现最先进性能？

主要发现

• 在 GlaS 基准上，NEGEV 使用 VGG 主干网络实现 81.3% 的 PxAP，较之前最先进方法提升 1.4 个百分点。
• 在 Camelyon16 上，NEGEV 使用 ResNet 主干网络实现 82.7% 的 PxAP，较之前最先进方法提升 1.4 个百分点。
• 消融实验证明，同时使用正样本与负样本证据可使 PxAP 提升 5.2%，相较仅使用正样本证据。
• 该方法在显著提升定位性能的同时，保持了较高的图像分类准确率（GlaS 为 81.3%，Camelyon16 为 72.4%）。
• 消融研究确认，复合损失中 λ = 1 时性能最佳，降低 λ 会导致性能下降，表明两项损失项的平衡至关重要。
• 可视化结果表明，NEGEV 生成的热图在定位准确性与局部化能力方面优于 CAM 和基于 U-Net 的 CAM，尤其在区分真实 ROI 与背景区域方面表现更优。