[论文解读] Reconstructing Nonlinear Dynamical Systems from Multi-Modal Time Series

Daniel Kramer, Philine Lou Bommer+3 more|arXiv (Cornell University)|Nov 4, 2021

Neural dynamics and brain function被引用 8

一句话总结

该论文提出了一种多模态概率潜在RNN（mmPLRNN）框架，用于从异质时间序列数据（如连续型、分类型和计数型观测）中重构非线性动力系统。通过将模态特定的广义线性模型与具有动态可解释性的RNN相结合，并采用EM或变分推断进行训练，该方法即使在单个模态存在噪声或缺失的情况下，也能有效重构潜在动力学，在Lorenz系统和神经科学基准测试中表现出鲁棒性并提升了吸引子恢复效果。

ABSTRACT

Empirically observed time series in physics, biology, or medicine, are commonly generated by some underlying dynamical system (DS) which is the target of scientific interest. There is an increasing interest to harvest machine learning methods to reconstruct this latent DS in a data-driven, unsupervised way. In many areas of science it is common to sample time series observations from many data modalities simultaneously, e.g. electrophysiological and behavioral time series in a typical neuroscience experiment. However, current machine learning tools for reconstructing DSs usually focus on just one data modality. Here we propose a general framework for multi-modal data integration for the purpose of nonlinear DS reconstruction and the analysis of cross-modal relations. This framework is based on dynamically interpretable recurrent neural networks as general approximators of nonlinear DSs, coupled to sets of modality-specific decoder models from the class of generalized linear models. Both an expectation-maximization and a variational inference algorithm for model training are advanced and compared. We show on nonlinear DS benchmarks that our algorithms can efficiently compensate for too noisy or missing information in one data channel by exploiting other channels, and demonstrate on experimental neuroscience data how the algorithm learns to link different data domains to the underlying dynamics.

研究动机与目标

• 为解决在存在多种定性不同的数据模态（如连续型、分类型、计数型）时，数据驱动的非线性动力系统重构中存在的空白问题。
• 开发一个统一框架，将多模态观测整合到单一潜在动力系统模型中，同时保留几何和时间不变性。
• 通过利用模态之间的互补信息，实现在单个模态受噪声污染或缺失数据影响时，对潜在动力学的鲁棒重构。
• 提供一个理论基础坚实、具有动态可解释性的模型，使用通用函数逼近器近似非线性系统的实际向量场。

提出的方法

• 该框架使用概率潜在RNN（PLRNN）作为潜在非线性动力系统向量场的通用逼近器。
• 每种数据模态通过模态特定的观测模型进行建模：高斯分布（线性-高斯）、分类分布（logit链接）、伽马分布（log链接）或零膨胀泊松分布（ZIP）（带log链接）。
• 联合似然通过变分推断方法在所有模态上进行因子分解并近似，使用基于神经网络的变分后验分布。
• 开发了两种训练算法：期望最大化（EM）算法和变分推断（VI）算法，两者均可实现潜在动力学与观测参数的端到端学习。
• 通过最大化边际似然的下界（ELBO）进行模型训练，参数通过随机梯度下降估计。
• 网络架构包括模态特定的输入分支、共享的潜在表征，以及在解码前融合多模态信息的分层结构。

实验结果

研究问题

• RQ1 当存在多种异质数据模态时，统一模型是否能更准确地重构潜在的非线性动力系统，即使部分模态存在噪声或不完整？
• RQ2 与单模态方法相比，整合分类型和计数型观测（如行为反应、放电计数）在多大程度上能改善连续吸引子动力学的重构？
• RQ3 该模型在多大程度上能通过利用其他模态的信息来补偿某一模态中高噪声或缺失数据的影响？
• RQ4 对不同类型观测使用广义线性模型（GLMs）是否能保留真实动力系统的时间和几何结构？
• RQ5 在多模态动力系统重构中，EM与变分推断在收敛性、稳定性及重构精度方面有何比较优势？

主要发现

• 当使用多种模态时，mmPLRNN框架显著提升了Lorenz吸引子几何结构的重构精度，即使高斯通道中存在20%的噪声。
• 当高斯观测高度噪声时，引入伽马或ZIP观测等额外模态可改善吸引子恢复效果，表明模态间存在补偿机制。
• 仅使用伽马或ZIP观测进行重构效果不佳，原因在于信息量低且稀疏，尤其在复杂吸引子场景下更为明显。
• 与单模态基线相比，多模态设置中真实后验与近似后验分布之间的中位数KL散度降低了最多达40%。
• mmPLRNN成功将实验神经科学数据中的神经BOLD信号与行为类别标签关联起来，揭示了各模态间一致的潜在动力学。
• 变分推断方法在性能上达到或优于EM方法，且收敛更快，对高维数据具有更好的可扩展性。