[论文解读] NEURO-DRAM: a 3D recurrent visual attention model for interpretable neuroimaging classification

David Wood, James H. Cole+1 more|arXiv (Cornell University)|Oct 10, 2019

Machine Learning in Healthcare参考文献 46被引用 4

一句话总结

NEURO-DRAM 是一种基于强化学习的 3D 循环视觉注意力模型，用于在体素 MRI 扫描中导航，选择性地关注最具诊断相关性的脑区，以实现神经影像分类。该模型在阿尔茨海默病预测和轻度认知障碍预后方面达到当前最先进水平的准确率，同时在无显式监督的情况下自动识别出已知的放射学生物标志物。

ABSTRACT

Deep learning is attracting significant interest in the neuroimaging community as a means to diagnose psychiatric and neurological disorders from structural magnetic resonance images. However, there is a tendency amongst researchers to adopt architectures optimized for traditional computer vision tasks, rather than design networks customized for neuroimaging data. We address this by introducing NEURO-DRAM, a 3D recurrent visual attention model tailored for neuroimaging classification. The model comprises an agent which, trained by reinforcement learning, learns to navigate through volumetric images, selectively attending to the most informative regions for a given task. When applied to Alzheimer's disease prediction, NEURODRAM achieves state-of-the-art classification accuracy on an out-of-sample dataset, significantly outperforming a baseline convolutional neural network. When further applied to the task of predicting which patients with mild cognitive impairment will be diagnosed with Alzheimer's disease within two years, the model achieves state-of-the-art accuracy with no additional training. Encouragingly, the agent learns, without explicit instruction, a search policy in agreement with standardized radiological hallmarks of Alzheimer's disease, suggesting a route to automated biomarker discovery for more poorly understood disorders.

研究动机与目标

• 解决标准卷积神经网络在神经影像学中的局限性，包括过拟合、泛化能力差以及可解释性不足。
• 开发一种能够自然整合非影像临床与人口统计学数据的模型，以指导注意力机制，而无需在最终分类中依赖这些数据。
• 通过可视化注意力轨迹来提高模型的可解释性，揭示在分类决策中最具影响力的脑区。
• 实现在未见样本数据和新临床任务上的零样本迁移，无需微调，从而提升泛化能力和临床实用性。
• 通过学习与已知病理区域对齐的注意力策略，探索对机制尚不明确的神经系统疾病进行自动化生物标志物发现。

提出的方法

• 使用强化学习智能体在 3D MRI 体积中以离散步长导航，每次关注一个小的 3D 切片。
• 使用 3D 卷积神经网络从每个关注的切片中提取特征，并将其输入基于 LSTM 的循环控制器。
• 使用策略梯度强化学习训练智能体，以最大化分类准确率，奖励稀疏，基于预测性能。
• 通过上下文网络整合非影像元数据（如年龄、性别、临床评分），以调制智能体的注意力策略。
• 可视化注意力轨迹，以识别最具信息量的解剖区域，提供可解释性并支持潜在生物标志物的发现。
• 采用分层架构，其中 LSTM 隐藏状态在步骤间保持上下文，实现对脑体积的长程推理。

实验结果

研究问题

• RQ1 基于强化学习的 3D 视觉注意力模型是否能在神经影像数据上实现优于标准 3D CNN 的分类性能？
• RQ2 该模型是否能在不进行微调的情况下泛化到不同扫描仪获取的未见 MRI 数据？
• RQ3 智能体是否学会关注与阿尔茨海默病相关的临床重要脑区，如海马体和顶颞联合皮层？
• RQ4 该模型是否能利用非影像临床与人口统计学数据改善注意力策略，而无需在最终决策中直接使用这些数据？
• RQ5 注意力轨迹是否可作为神经退行性疾病中自动化生物标志物发现的代理？

主要发现

• NEURO-DRAM 在从结构 MRI 预测阿尔茨海默病方面实现了最先进的分类准确率，显著优于基线 3D 卷积神经网络。
• 该模型在未见数据上表现出有效的泛化能力，在来自不同扫描仪的外部数据集上测试时未出现性能下降。
• 在预测轻度认知障碍患者两年内是否进展为阿尔茨海默病时，NEURO-DRAM 实现了最先进的准确率，且无需额外训练。
• 智能体学习到一种系统性访问阿尔茨海默病已知放射学标志物的搜索策略，包括海马体、海马旁回、侧脑室和顶叶皮层。
• 注意力轨迹具有可解释性，并与临床知识一致，表明该模型可指导对机制尚不明确的疾病进行自动化生物标志物发现。
• 非影像元数据的整合改善了注意力引导，同时未削弱模型对影像特征在最终分类中的依赖。