[论文解读] Using StyleGAN for Visual Interpretability of Deep Learning Models on Medical Images

Kathryn Schutte, Olivier Moindrot+3 more|arXiv (Cornell University)|Jan 19, 2021

Explainable Artificial Intelligence (XAI)参考文献 20被引用 36

一句话总结

论文提出一种基于 StyleGAN 的方法，能够可视化输入医学图像需要如何改变以改变模型预测，提供比 GradCAM 更具可解释性的解释。它在膝部X线片和组织病理图块上验证了该方法，结果有希望。

ABSTRACT

As AI-based medical devices are becoming more common in imaging fields like radiology and histology, interpretability of the underlying predictive models is crucial to expand their use in clinical practice. Existing heatmap-based interpretability methods such as GradCAM only highlight the location of predictive features but do not explain how they contribute to the prediction. In this paper, we propose a new interpretability method that can be used to understand the predictions of any black-box model on images, by showing how the input image would be modified in order to produce different predictions. A StyleGAN is trained on medical images to provide a mapping between latent vectors and images. Our method identifies the optimal direction in the latent space to create a change in the model prediction. By shifting the latent representation of an input image along this direction, we can produce a series of new synthetic images with changed predictions. We validate our approach on histology and radiology images, and demonstrate its ability to provide meaningful explanations that are more informative than GradCAM heatmaps. Our method reveals the patterns learned by the model, which allows clinicians to build trust in the model's predictions, discover new biomarkers and eventually reveal potential biases.

研究动机与目标

• 在医学影像中激发对可解释 AI 的需求，以获得监管和临床信任。
• 提出一个三步法，使用 StyleGAN 将潜在空间映射到图像，并将潜在方向与预测联系起来。
• 证明潜在空间编辑能产生生物学上可信的进展或预测变化。
• 与 GradCAM 进行比较，展示更丰富的可解释性与潜在生物标志物发现。

提出的方法

• 在医学影像上训练 StyleGAN2 以学习一个维度为 512 的潜在空间 W。
• 训练编码器 E，将真实图像映射到 W 中的对应潜在向量，使用合成对 (w, G(w))。
• 对潜在编码训练逻辑回归以预测模型输出，得到在 W 中的一个方向 alpha，使预测发生变化。
• 对于新图像 x，计算 w = E(x) 并沿 w 移动 lambda*alpha 以生成 G(w + lambda*alpha)，预测更新。
• 使用生成的图像序列来解释可视化的变化如何与预测相关，并识别临床有意义的模式。

实验结果

研究问题

• RQ1 StyleGAN 的潜在空间操作如何为医学影像上黑箱模型的预测提供解释？
• RQ2 沿着学习到的潜在方向移动是否会产生与预测变化相关的临床上可信的图像演化？
• RQ3 生成的视觉演化在医学决策任务中是否比 GradCAM 热力图更具信息量？
• RQ4 这种方法能否帮助揭示医学影像分类器中的生物标志物或潜在偏差？

主要发现

• 对于 X 线片中的膝关节骨关节炎，该方法在 KL 级别升高时产生生物学上可信的进展特征，超越 GradCAM 定位。
• 在膝部 X 线片上，预测器 f 达到 89% 的测试 AUC，潜在空间预测器
  c tilde f 达到 80% 的测试 AUC。
• 放射科医生对 StyleGAN 生成器的平均 Turing 测试准确率为 58%，表明合成 X 线片具有现实性。
• 在组织病理图块的转移灶检测中，预测器 f 达到 92% 的测试 AUC，而潜在预测器
  c tilde f 达到 95% 的测试 AUC。
• GradCAM 热力图在预测特征在图像中扩散时信息量较少，而潜在空间编辑突出显示了有意义的特征变化。
• 该方法有助于临床医生建立信任、发现新的生物标志物，并揭示潜在偏差。