[论文解读] Targeted Neural Dynamical Modeling

Cole Hurwitz, Akash Srivastava+5 more|arXiv (Cornell University)|Oct 28, 2021

Neural dynamics and brain functionNeuroscience参考文献 25被引用 22

一句话总结

该论文提出了一种目标神经动力建模（TNDM），这是一种非线性状态空间模型，通过将潜在动力学分解为与行为相关和无关的成分，联合建模神经活动与行为。TNDM 使用序列变分自编码器（sVAE）学习低维、可预测的动力学，以灵活且具有因果关系的时序方式重建神经数据与行为，其在行为预测方面优于 PSID 和 LFADS，同时保持了优异的神经数据拟合性能。

ABSTRACT

Latent dynamics models have emerged as powerful tools for modeling and interpreting neural population activity. Recently, there has been a focus on incorporating simultaneously measured behaviour into these models to further disentangle sources of neural variability in their latent space. These approaches, however, are limited in their ability to capture the underlying neural dynamics (e.g. linear) and in their ability to relate the learned dynamics back to the observed behaviour (e.g. no time lag). To this end, we introduce Targeted Neural Dynamical Modeling (TNDM), a nonlinear state-space model that jointly models the neural activity and external behavioural variables. TNDM decomposes neural dynamics into behaviourally relevant and behaviourally irrelevant dynamics; the relevant dynamics are used to reconstruct the behaviour through a flexible linear decoder and both sets of dynamics are used to reconstruct the neural activity through a linear decoder with no time lag. We implement TNDM as a sequential variational autoencoder and validate it on simulated recordings and recordings taken from the premotor and motor cortex of a monkey performing a center-out reaching task. We show that TNDM is able to learn low-dimensional latent dynamics that are highly predictive of behaviour without sacrificing its fit to the neural data.

研究动机与目标

• 为解决现有潜在动力学模型在分离与行为相关的神经动力学与无关变异方面的局限性。
• 克服 PSID 等线性模型的限制，后者假设动力学与行为之间无时间延迟，且无法捕捉非线性动力学。
• 开发一种方法，联合建模神经活动与行为，实现潜在动力学与行为之间灵活且具有因果关系的时序依赖。
• 通过强制实现与行为相关和无关因素之间的解耦，提升神经群体动力学的可解释性与预测能力。
• 在猴子前运动皮层与运动皮层的中心-外伸手臂任务真实神经记录数据及合成数据上验证该模型。

提出的方法

• TNDM 采用序列变分自编码器（sVAE）在非线性状态空间模型中执行近似推理，实现对复杂动力学的高效学习。
• 该模型将潜在动力学分解为两部分：由因果线性解码器驱动的与行为相关动力学，以及与行为无关的动力学。
• 对相关与无关动力学的初始条件分布施加解耦惩罚，以促进可变性来源的分离。
• 通过线性、时移的因果解码器，利用与行为相关动力学重建行为，实现超越即时对应关系的灵活时序关系。
• 通过线性解码器将相关与无关动力学组合，以无时间延迟的方式重建观测到的神经活动，保持数据保真度。
• 模型通过变分下界进行端到端训练，平衡神经数据与行为的重建性能，超参数经调整以避免出现生物学上不切实际的振荡。

实验结果

研究问题

• RQ1 非线性状态空间模型能否有效分离群体活动中的与行为相关与无关的神经动力学？
• RQ2 允许潜在动力学与行为之间存在时移、因果关系，是否能提升行为预测性能，相较于假设即时对应的模型？
• RQ3 对初始条件分布施加解耦惩罚，是否能增强所学习动力学的可解释性与预测能力？
• RQ4 在行为预测与神经数据重构精度方面，TNDM 与 PSID 和 LFADS 等最先进模型相比表现如何？
• RQ5 在中心-外伸手臂任务中，用于捕捉运动动力学的与行为相关潜在空间的最优维度是多少？

主要发现

• TNDM 在合成数据与真实神经数据上均实现了高于 PSID 和 LFADS 的行为预测准确率，且在两个相关潜在因子时达到最高预测性能。
• TNDM 中的与行为相关动力学维度更低且更具预测性，表明二维伸手动作的动力学可能具有更低的内在维度。
• 模型的行为预测饱和点出现在两个相关因子处，表明该维度捕捉了与手部速度相关的动力学核心。
• TNDM 中的无关动力学表现出一致、任务无关的模式——如初始波动后持续上升——提示其可能反映一般性运动执行过程。
• 解耦惩罚成功分离了相关与无关动力学，其中相关因子与运动速度强相关，而无关因子表现出最小的任务依赖性。
• TNDM 维持了与 LFADS 相当的强神经数据重构性能，表明更高的行为预测能力并未以牺牲数据拟合为代价。