[论文解读] PIPNet3D: Interpretable Detection of Alzheimer in MRI Scans

Lisa Anita De Santi, Jörg Schlötterer+5 more|arXiv (Cornell University)|Mar 27, 2024

Brain Tumor Detection and ClassificationNeuroscience被引用 3

一句话总结

PIPNet3D 是一种用于从结构磁共振成像（sMRI）扫描中诊断阿尔茨海默病的 3D 可解释深度学习模型，通过在 3D 空间中学习的部件原型实现人类可理解的推理。其性能与黑箱模型相当，同时生成与临床一致、紧凑且连贯的原型，且可通过专家反馈持续改进。

ABSTRACT

Information from neuroimaging examinations is increasingly used to support diagnoses of dementia, e.g., Alzheimer's disease. While current clinical practice is mainly based on visual inspection and feature engineering, Deep Learning approaches can be used to automate the analysis and to discover new image-biomarkers. Part-prototype neural networks (PP-NN) are an alternative to standard blackbox models, and have shown promising results in general computer vision. PP-NN's base their reasoning on prototypical image regions that are learned fully unsupervised, and combined with a simple-to-understand decision layer. We present PIPNet3D, a PP-NN for volumetric images. We apply PIPNet3D to the clinical diagnosis of Alzheimer's Disease from structural Magnetic Resonance Imaging (sMRI). We assess the quality of prototypes under a systematic evaluation framework, propose new functionally grounded metrics to evaluate brain prototypes and develop an evaluation scheme to assess their coherency with domain experts. Our results show that PIPNet3D is an interpretable, compact model for Alzheimer's diagnosis with its reasoning well aligned to medical domain knowledge. Notably, PIPNet3D achieves the same accuracy as its blackbox counterpart; and removing the remaining clinically irrelevant prototypes from its decision process does not decrease predictive performance.

研究动机与目标

• 开发一种用于从结构磁共振成像（sMRI）扫描中诊断阿尔茨海默病的可解释 3D 深度学习模型。
• 解决现有 3D 医疗影像中部件原型网络的局限性，包括空间连贯性不足和语义质量差的问题。
• 通过基于医学领域知识的新型度量和专家评估，评估原型质量。
• 证明移除临床上无关的原型不会降低模型性能，从而提升模型的紧凑性和可解释性。
• 提供一种自解释的模型，与放射科知识保持一致，并支持临床决策。

提出的方法

• PIPNet3D 是一种基于 3D 卷积神经网络（3D-CNN）的部件原型神经网络（PP-NN），以无监督方式从 MRI 体积中学习一组小型 3D 原型区域（VOIs）。
• 该模型使用 3D 卷积主干网络提取特征，随后通过全局最大池化生成原型存在得分。
• 一个线性、稀疏的决策层基于原型激活计算预测结果，确保可解释性和紧凑性。
• 引入新型评估度量——原型脑熵（Prototype Brain Entropy）和原型定位一致性（Prototype Localization Consistency），以评估原型的功能连贯性和空间连贯性。
• 模型采用对比学习预训练目标进行训练，以提升原型质量和泛化能力。
• 专家评估包括放射科医生对原型连贯性、定位准确性和模式一致性的评分，反馈用于优化模型的可解释性。

Figure 1: Overview of PiPNet3D. 3D prototypes are learned through a CNN backbone. Representations are optimized through a contrastive pre-training step. A linear sparse decision layer computes the predictions based on prototype (VOI) activations.

实验结果

研究问题

• RQ1 3D 部分原型网络能否为 sMRI 中的阿尔茨海默病诊断生成可解释且具有临床意义的解释？
• RQ2 所提出的度量——原型脑熵和定位一致性——与原型质量和模型性能的相关性如何？
• RQ3 经专家验证的原型在多大程度上与神经影像学中既定的医学知识相一致？
• RQ4 移除临床上无关的原型是否会影响模型的预测准确率或紧凑性？
• RQ5 自解释模型能否在阿尔茨海默病诊断中达到与黑箱深度学习模型相当的性能？

主要发现

• PIPNet3D 达到了与黑箱基线模型相当的分类准确率，证明可解释性不会损害性能。
• 原型脑熵与 F1 分数呈显著负相关（r = -0.89），表明更纯净、更无歧义的原型可带来更高的模型准确率。
• 每项局部解释的平均原型数量为 3.8 个，稀疏性极高（平均 0.993），表明解释紧凑且聚焦。
• 专家评估显示，评分者间具有一致性（组内相关系数 ICC：0.80–0.85），原型定位（0.70）和模式（0.90）的连贯性较强，尤其在阿尔茨海默病病例中表现更佳。
• 移除专家判定为临床上无关的原型后，性能未出现统计上显著下降，证实模型鲁棒性得以保持，同时提升了紧凑性。
• 对于 CN（认知正常）类别的原型，不连贯现象更常见（定位连贯性：0.54），可能是因为模型需要为所有类别（包括无病理状态）寻找证据。

Figure 2: Example of local and global explanation inherently provided by PIPNet3D (fold 5). The global explanation shows all prototypes of the models decision process. The local explanation shows the model’s reasoning for one particular patient.