[论文解读] Variational online learning of neural dynamics

Yuan Zhao, Il Memming Park|arXiv (Cornell University)|Jul 27, 2017

Neural dynamics and brain function参考文献 65被引用 5

一句话总结

本文提出了一种变分在线学习框架——变分联合滤波（VJF），用于从流式神经数据中同时推断非线性神经动力学和隐状态。通过使用随机梯度变分贝叶斯方法，VJF 实现了实时、恒定时间与空间复杂度的动态模型和观测模型学习，在拟合具有灵活噪声模型的复杂振荡神经动力学方面优于现有方法。

ABSTRACT

New technologies for recording the activity of large neural populations during complex behavior provide exciting opportunities for investigating the neural computations that underlie perception, cognition, and decision-making. Nonlinear state space models provide an interpretable signal processing framework by combining an intuitive dynamical system with a probabilistic observation model, which can provide insights into neural dynamics, neural computation, and development of neural prosthetics and treatment through feedback control. It brings the challenge of learning both latent neural state and the underlying dynamical system because neither is known for neural systems a priori. We developed a flexible online learning framework for latent nonlinear state dynamics and filtered latent states. Using the stochastic gradient variational Bayes approach, our method jointly optimizes the parameters of the nonlinear dynamical system, the observation model, and the black-box recognition model. Unlike previous approaches, our framework can incorporate non-trivial distributions of observation noise and has constant time and space complexity. These features make our approach amenable to real-time applications and the potential to automate analysis and experimental design in ways that testably track and modify behavior using stimuli designed to influence learning.

研究动机与目标

• 实现从高维流式神经数据中实时、在线学习非线性神经动力学。
• 在无先验知识的前提下，联合推断隐神经状态和底层非线性动力系统参数。
• 克服离线方法和近似贝叶斯滤波在处理时间依赖性和任意观测噪声方面的局限性。
• 通过支持自适应、实时分析和刺激设计，支持闭环神经生理学实验。
• 提供可解释的框架，用于识别神经种群活动中的动力学特征，如不动点、极限环和吸引子。

提出的方法

• 采用随机梯度变分贝叶斯（SGVB）联合优化非线性动力系统参数、观测模型参数以及一个黑箱识别模型。
• 使用连续时间状态空间模型，其非线性动力学形式为 $ \dot{\vx} = F_\theta(\vx, \vu) $，离散化为 $ \vx_{t+1} = f_\theta(\vx_t, \vu_t) + \boldsymbol{\epsilon}_t $。
• 采用径向基函数（RBF）网络参数化非线性动力学，实现对速度场的平滑且正则化的近似。
• 引入灵活的观测模型（如高斯分布、泊松分布），以处理神经记录中非平凡的噪声分布。
• 通过在线优化和识别网络实现的摊销推断，保持每时间步恒定的时间与空间复杂度。
• 利用可微分超参数和自适应初始化（例如通过降维）以提升收敛性和鲁棒性。

实验结果

研究问题

• RQ1 是否能够通过完全在线的变分推断框架，在恒定计算成本下，从流式数据中联合学习非线性神经动力学和隐状态？
• RQ2 该方法在合成和真实神经数据上，能否准确恢复复杂的动力学特征（如极限环和不动点）？
• RQ3 在拟合具有任意观测噪声的神经动力学时，该方法是否优于现有的离线和近似在线方法？
• RQ4 该框架是否能够支持实时应用，如闭环神经生理学和自适应实验设计？
• RQ5 该方法对关键超参数（如RBF数量或网络深度）的选择是否具有鲁棒性？

主要发现

• VJF 方法在多个合成数据集上表现出一致性能，能够准确恢复振荡动力学及极限环等动力学特征。
• 通过使用降维进行热启动初始化，VJF 的收敛速度更快，且达到的对数似然值和ELBO值高于随机初始化。
• 该方法每时间步保持恒定的时间与空间复杂度，支持在流式神经数据上实时部署。
• 在合成和真实神经数据上，VJF 在拟合优度指标（对数似然和ELBO）方面优于最先进方法。
• 该框架能够成功识别可解释的动力学特征（如不动点和吸引子），即使在底层动力学为非线性和非高斯分布时亦然。
• 该方法对关键超参数（如RBF数量和网络深度）的扰动具有鲁棒性，结果的定性特征变化极小。