[论文解读] Reinforcement Learning based Disease Progression Model for Alzheimer's Disease

Krishnakant Saboo, Anirudh Choudhary+4 more|arXiv (Cornell University)|Jun 30, 2021

Mental Health Research Topics被引用 4

一句话总结

本文提出了一种新颖的混合模型，结合微分方程（DEs）与强化学习（RL），以预测个体化的10年阿尔茨海默病（AD）进展，利用领域知识定义奖励函数，以优化认知功能并最小化代谢成本。RL智能体推断DEs未能捕捉的缺失生物关系，从而在预测10年认知轨迹方面优于最先进深度学习模型，且结果更具可解释性，同时揭示了大脑功能中的隐性代偿机制。

ABSTRACT

We model Alzheimer's disease (AD) progression by combining differential equations (DEs) and reinforcement learning (RL) with domain knowledge. DEs provide relationships between some, but not all, factors relevant to AD. We assume that the missing relationships must satisfy general criteria about the working of the brain, for e.g., maximizing cognition while minimizing the cost of supporting cognition. This allows us to extract the missing relationships by using RL to optimize an objective (reward) function that captures the above criteria. We use our model consisting of DEs (as a simulator) and the trained RL agent to predict individualized 10-year AD progression using baseline (year 0) features on synthetic and real data. The model was comparable or better at predicting 10-year cognition trajectories than state-of-the-art learning-based models. Our interpretable model demonstrated, and provided insights into, "recovery/compensatory" processes that mitigate the effect of AD, even though those processes were not explicitly encoded in the model. Our framework combines DEs with RL for modelling AD progression and has broad applicability for understanding other neurological disorders.

研究动机与目标

• 利用基线临床和神经影像数据，开发个体化10年阿尔茨海默病进展的预测模型。
• 通过整合强化学习（RL），解决微分方程（DE）模型在捕捉AD所有生物关系方面的局限性。
• 将领域知识——特别是最大化认知与最小化代谢成本之间的权衡——融入RL的奖励函数中。
• 提供关于AD进展过程中脑网络代偿机制的可解释、机理性的洞见。
• 在真实和合成数据上，预测长期认知轨迹方面超越现有基于学习的模型。

提出的方法

• 该模型使用一组已知的DEs来模拟脑结构、活动和认知随时间的演变。
• 通过RL推断认知、脑区大小和活动之间缺失的关系，RL基于领域知识优化奖励函数。
• 奖励函数在认知表现（最小化目标与实际认知之间的不匹配）和代谢成本（最小化认知所需的脑活动）之间进行权衡。
• RL智能体在每个时间步选择最优的信息处理分布（例如海马体和前额叶皮层），以最大化奖励。
• 该框架基于DEs构建模拟器，并训练RL智能体在10年时间范围内优化奖励函数。
• 对照模型分析证实，观察到的代偿行为源于双项奖励函数，而非显式编码。

实验结果

研究问题

• RQ1 混合微分方程与强化学习框架能否准确预测阿尔茨海默病中个体化的10年认知轨迹？
• RQ2 当奖励函数在认知表现与代谢成本之间进行权衡时，大脑功能中隐含的代偿机制是否会自然涌现？
• RQ3 与最先进深度学习模型（如minimalRNN）相比，RL的引入如何提升预测准确性？
• RQ4 认知不匹配与能量成本之间的权衡在生成生物上合理的恢复过程方面发挥何种作用？
• RQ5 该模型能否揭示AD进展过程中脑网络适应的可解释、机理性的洞见？

主要发现

• 与最先进深度学习模型（minimalRNN）相比，该模型在真实ADNI数据上的预测误差降低了约10%。
• 该模型生成的10年认知轨迹比基准模型（包括SVR和minimalRNN）更符合现实。
• 该模型揭示了未在模型中显式编码的隐性“恢复/代偿”过程，表明神经网络存在自适应重组。
• 对照实验确认，代偿行为源于双项奖励函数——认知不匹配与能量成本——而非仅由模型架构引起。
• 该模型表明，当显式DEs不可用时，RL可有效推断生物上合理的关联，从而同时提升准确性和可解释性。
• 基于网格搜索的优化（无RL）导致极端且生物上不合理的的信息处理分布（例如I(t) = [10,0]或[0,10]），凸显了RL在实现稳定、现实动力学中的必要性。