[论文解读] Multimodal Neurodegenerative Disease Subtyping Explained by ChatGPT

Diego Machado Reyes, Hanqing Chao+3 more|arXiv (Cornell University)|Jan 31, 2024

Artificial Intelligence in Healthcare and EducationMedicine被引用 3

一句话总结

本文提出了一种多模态深度学习框架 Tri-COAT，整合基线影像学、遗传学和临床数据，对早中期（前驱期）阿尔茨海默病进行分型，相较于单模态模型实现了更优的分类性能。该方法利用大型语言模型（如 ChatGPT）生成对跨模态特征关联的临床可解释性说明，揭示了脑萎缩、遗传风险与认知功能下降之间的生物上合理的关联。

ABSTRACT

Alzheimer's disease (AD) is the most prevalent neurodegenerative disease; yet its currently available treatments are limited to stopping disease progression. Moreover, effectiveness of these treatments is not guaranteed due to the heterogenetiy of the disease. Therefore, it is essential to be able to identify the disease subtypes at a very early stage. Current data driven approaches are able to classify the subtypes at later stages of AD or related disorders, but struggle when predicting at the asymptomatic or prodromal stage. Moreover, most existing models either lack explainability behind the classification or only use a single modality for the assessment, limiting scope of its analysis. Thus, we propose a multimodal framework that uses early-stage indicators such as imaging, genetics and clinical assessments to classify AD patients into subtypes at early stages. Similarly, we build prompts and use large language models, such as ChatGPT, to interpret the findings of our model. In our framework, we propose a tri-modal co-attention mechanism (Tri-COAT) to explicitly learn the cross-modal feature associations. Our proposed model outperforms baseline models and provides insight into key cross-modal feature associations supported by known biological mechanisms.

研究动机与目标

• 解决由于疾病异质性及早期生物标志物有限而导致的早发型阿尔茨海默病分型挑战。
• 克服单模态模型及不可解释的深度学习方法在分类前驱期阿尔茨海默病方面的局限性。
• 开发一种多模态融合框架，利用影像学、遗传学和临床的早期指标，以提高分型准确性。
• 通过整合大型语言模型（如 ChatGPT）提升模型可解释性，生成对特征层面关联的临床有意义解释。
• 通过可解释的多模态分型建立神经退行性疾病个性化医学的基础。

提出的方法

• 提出一种三模态协同注意力机制（Tri-COAT），显式建模影像学、遗传学和临床数据之间的跨模态特征交互。
• 使用早期基线数据（无纵向随访）训练模型，实现在前驱期或无症状阶段的分型。
• 应用基于梯度的显著性归因方法（如积分梯度）识别驱动模型预测的关键特征。
• 设计结构化提示词，用于大型语言模型（如 ChatGPT、Bard）解释前10项显著性归因，包括特征名称、患者数值及与人群均值的偏离程度。
• 生成将每个显著特征与已知生物学机制相联系的自然语言报告（例如，右侧岛叶脑萎缩与快速进展型阿尔茨海默病相关）。
• 通过与临床文献对比验证 LLM 生成的解释，评估其准确性和生物学合理性，同时承认存在幻觉的潜在风险。

Figure 1: The three main multimodal fusion strategies, early, intermediate and late fusion, for deep learning methods.

实验结果

研究问题

• RQ1 仅使用影像学、遗传学和临床评估的基线（非纵向）数据，多模态深度学习模型能否有效对阿尔茨海默病进行分型？
• RQ2 模型识别出的跨模态特征关联是否与阿尔茨海默病的已知生物学机制一致？
• RQ3 大型语言模型（如 ChatGPT）在多大程度上能生成准确且具有临床相关性的模型预测与特征归因解释？
• RQ4 LLM 生成的解释是否能提升多模态深度学习模型在神经退行性疾病分型中的透明度与可信度？
• RQ5 该模型检测到的非典型或保护性特征（如楔前叶皮层厚度更高）是否反映了阿尔茨海默病中已知的代偿机制？

主要发现

• Tri-COAT 模型在仅使用基线多模态数据的情况下，分类阿尔茨海默病亚型的表现优于基线模型，展现出更优的分类性能。
• 该模型识别出关键的跨模态生物标志物网络，例如右侧岛叶体积减少与快速疾病进展相关，与已知的神经解剖学和病理学发现一致。
• 大型语言模型（ChatGPT 和 Bard）生成的解释与临床文献一致，例如将右侧楔前叶皮层厚度增加解释为潜在的代偿机制。
• LLM 生成的报告对显著特征提供了生物学上合理的解释，包括脑区的功能角色以及异常测量值相对于人群均值的临床意义。
• 该模型能够检测并解释非典型模式（如通常在阿尔茨海默病中萎缩的区域皮层厚度高于平均水平），展示了对保护性或代偿性特征的敏感性。
• 尽管结果令人鼓舞，LLM 仍偶尔产生幻觉或推测性陈述，凸显了其在临床部署中的关键局限性。

Figure 2: Illustration of the proposed framework for AD subtyping, consisting of two main sections: (a) single modality encoding and (b) tri-modal attention and joint encoding.