[论文解读] Patchnet: Interpretable Neural Networks for Image Classification

Adityanarayanan Radhakrishnan, Charles W. Durham+2 more|arXiv (Cornell University)|May 23, 2017

Cutaneous Melanoma Detection and Management参考文献 29被引用 5

一句话总结

PatchNet 是一种上下文受限的神经网络架构，通过单独分析图像小块并平均预测结果来减少对全局上下文的依赖，从而提升图像分类任务的可解释性。与 CAM 或 Grad-CAM 相比，它在医学图像上生成了更清晰、更局部化的特征热图，尽管在泛化误差与特征粒度之间存在权衡，但仍保持了较高的分类准确率。

ABSTRACT

Understanding how a complex machine learning model makes a classification decision is essential for its acceptance in sensitive areas such as health care. Towards this end, we present PatchNet, a method that provides the features indicative of each class in an image using a tradeoff between restricting global image context and classification error. We mathematically analyze this tradeoff, demonstrate Patchnet's ability to construct sharp visual heatmap representations of the learned features, and quantitatively compare these features with features selected by domain experts by applying PatchNet to the classification of benign/malignant skin lesions from the ISBI-ISIC 2017 melanoma classification challenge.

研究动机与目标

• 解决医疗等敏感领域中深度神经网络可解释性不足的问题。
• 克服 CAM 和 Grad-CAM 的局限性，如模糊、空间上下文丢失以及过度依赖全局图像特征。
• 开发一种方法，通过将上下文限制在小图像块内，识别尽可能多的类别区分性特征。
• 为二值图像分类任务提供数学上合理、局部化的分类决策可视化解释。
• 在真实世界医学数据集——ISBI-ISIC 2017 的黑色素瘤分类任务上展示该方法的有效性。

提出的方法

• PatchNet 将每张输入图像划分为固定大小（例如 11×11、17×17、31×31 像素）的重叠小块，并将每个小块视为独立输入。
• 为每个小块尺寸训练一个独立的 CNN 子网络，以预测类别标签，估计每个小块 P 的 P(y=1|P)。
• 通过在整张图像上对所有小块预测结果的 Sigmoid 输出取平均，获得全局图像分类结果，避免使用均场近似中的乘法运算。
• 通过强制网络在有限上下文下学习，确保识别出每个类别的所有可区分特征，而不仅仅是最显著的一个。
• 提取全局图像热图和滤波器热图，以可视化对每个类别最具指示性的图像区域和特征图。
• 该方法受变分推断和集成方法的启发，通过控制小块尺寸来平衡泛化误差与特征粒度。

实验结果

研究问题

• RQ1 基于小块的分类方法是否能提升深度神经网络在医学图像分析中的可解释性？
• RQ2 与 CAM 和 Grad-CAM 等全局上下文方法相比，将上下文限制在小图像块内，对学习到的特征定位性和清晰度有何影响？
• RQ3 PatchNet 在多大程度上能够识别每个类别中多个独立的特征，而非仅依赖单一主导特征？
• RQ4 PatchNet 中泛化误差与特征粒度之间的权衡关系如何？该关系如何随小块尺寸变化？
• RQ5 PatchNet 生成的热图在皮肤病变分类任务中，与专家标注特征相比，其相关性和定位性如何？

主要发现

• PatchNet 的定位准确率高于 CAM 和 Grad-CAM，生成的热图更清晰、更聚焦，能正确突出细胞核的边缘和高对比度区域。
• 对于所有小块尺寸，PatchNet 均正确识别出 NIH/3T3（小鼠）细胞核的高亮度对比度为区分性特征，将边界与背景一同标记为白色。
• PatchNet 的验证损失随小块尺寸增大而降低（例如 31×31 时为 0.074，11×11 时为 0.154），证实了预期的泛化能力与上下文之间的权衡。
• 尽管泛化误差较高，PatchNet-11 仍实现了 98.2% 的验证准确率，优于 CAM（验证损失 0.0988，但因阈值波动导致准确率下降）和 VGG-11（过拟合，准确率为 97.0%）。
• CAM 的验证损失最低（0.027），但其可视化结果错误地将图像大部分区域标记为类别 1 的相关区域，尤其在小细胞核上表现明显。
• Grad-CAM 的可视化效果不佳，常将背景区域错误地标记为类别 1 的指示区域，尤其在小鼠细胞核上更为严重，这是由于过度依赖全局上下文所致。