[论文解读] Neural Dynamics Discovery via Gaussian Process Recurrent Neural Networks

Qi She, Anqi Wu|arXiv (Cornell University)|Jul 1, 2019

Gaussian Processes and Bayesian Inference参考文献 16被引用 15

一句话总结

本文提出了一种高斯过程循环神经网络（GPRNN）模型，该模型联合学习高维噪声神经数据中的非线性、非马尔可夫潜变量动态和复杂非线性嵌入。通过结合双向LSTM进行推理和非参数高斯过程以实现灵活的动力学建模，该方法在低样本场景下实现了优越的重建精度，在具有高斯或泊松观测值的模拟和真实神经数据集上均优于最先进方法。

ABSTRACT

Latent dynamics discovery is challenging in extracting complex dynamics from high-dimensional noisy neural data. Many dimensionality reduction methods have been widely adopted to extract low-dimensional, smooth and time-evolving latent trajectories. However, simple state transition structures, linear embedding assumptions, or inflexible inference networks impede the accurate recovery of dynamic portraits. In this paper, we propose a novel latent dynamic model that is capable of capturing nonlinear, non-Markovian, long short-term time-dependent dynamics via recurrent neural networks and tackling complex nonlinear embedding via non-parametric Gaussian process. Due to the complexity and intractability of the model and its inference, we also provide a powerful inference network with bi-directional long short-term memory networks that encode both past and future information into posterior distributions. In the experiment, we show that our model outperforms other state-of-the-art methods in reconstructing insightful latent dynamics from both simulated and experimental neural datasets with either Gaussian or Poisson observations, especially in the low-sample scenario. Our codes and additional materials are available at this https URL.

研究动机与目标

• 解决从高维、噪声神经记录中恢复复杂、非线性及长程时间动态的挑战。
• 克服现有方法依赖线性嵌入、简单状态转移或刚性推理网络的局限性。
• 实现在低样本数据场景下对平滑、随时间演化的潜变量轨迹的准确发现。
• 开发一种灵活的非参数框架，以捕捉神经动力学中的非马尔可夫依赖关系。

提出的方法

• 将循环神经网络（RNN）与非参数高斯过程相结合，以建模非线性和非马尔可夫潜变量动态。
• 使用双向长短期记忆（Bi-LSTM）网络作为推理网络，将过去和未来上下文编码到后验分布中。
• 利用非参数GP建模潜变量状态转移，以实现对复杂时间依赖关系的灵活、数据驱动学习。
• 采用联合变分推理框架，在模型不可解析的情况下优化潜变量动态和嵌入参数。
• 支持高斯和泊松观测模型，以适应多样的神经数据类型。
• 利用双向结构在推理过程中引入未来上下文，以改善后验近似。

实验结果

研究问题

• RQ1 RNN与高斯过程的联合建模框架是否能有效捕捉神经数据中的非线性、非马尔可夫动态？
• RQ2 在推理网络中引入双向上下文，相较于单向模型，如何提升潜变量轨迹的重建质量？
• RQ3 在低样本数据场景下，所提模型相较于现有方法的性能优势有多大？
• RQ4 该模型能否在不同观测噪声模型（如高斯和泊松）下实现泛化，适用于神经数据？

主要发现

• 所提出的GPRNN模型在模拟和真实神经数据集上的重建性能均优于最先进方法。
• 该模型在低样本场景下表现出显著优势，能更准确地重建潜变量动态。
• 使用双向LSTM进行后验推理通过利用未来上下文，显著提升了潜变量轨迹估计的质量。
• 非参数高斯过程组件能够灵活建模超越简单马尔可夫假设的复杂长程时间依赖关系。
• 该框架成功处理了高斯和泊松观测模型，展现出在不同神经数据类型下的鲁棒性。
• 实证结果证实，该模型能捕捉到更具洞察力且更平滑的潜变量动态，尤其在噪声大和高维场景下表现优异。