[论文解读] Trial matching: capturing variability with data-constrained spiking neural networks

Christos Sourmpis, Carl C.H. Petersen+2 more|arXiv (Cornell University)|Jun 6, 2023

Neural dynamics and brain functionNeuroscience被引用 3

一句话总结

该论文提出一种数据约束的循环脉冲神经网络（RSNN），通过基于最优传输的试次匹配方法，捕捉神经活动与行为数据中的试次间变异性。通过在六个皮层区域的28个会话中联合优化脉冲发放活动与下颌运动预测，该模型在不预先假设低维潜在结构的前提下，生成了真实且可解释的变异性模式，包括与任务无关的运动。

ABSTRACT

Simultaneous behavioral and electrophysiological recordings call for new methods to reveal the interactions between neural activity and behavior. A milestone would be an interpretable model of the co-variability of spiking activity and behavior across trials. Here, we model a mouse cortical sensory-motor pathway in a tactile detection task reported by licking with a large recurrent spiking neural network (RSNN), fitted to the recordings via gradient-based optimization. We focus specifically on the difficulty to match the trial-to-trial variability in the data. Our solution relies on optimal transport to define a distance between the distributions of generated and recorded trials. The technique is applied to artificial data and neural recordings covering six cortical areas. We find that the resulting RSNN can generate realistic cortical activity and predict jaw movements across the main modes of trial-to-trial variability. Our analysis also identifies an unexpected mode of variability in the data corresponding to task-irrelevant movements of the mouse.

研究动机与目标

• 开发一种具有生物学可解释性的大规模RSNN，以毫秒级精度模拟皮层感觉运动通路。
• 解决在多个记录会话中匹配神经动作电位活动与行为试次间变异性的问题。
• 通过允许网络从无结构噪声中学习结构化变异性，避免对低维潜在动力学的先验假设。
• 通过多会话数据上的梯度优化，实现神经活动与行为的联合建模。
• 通过无假设的方法识别变异性背后的电路机制，包括与任务无关的运动。

提出的方法

• 该模型采用具有生物学约束动力学的大规模循环脉冲神经网络（RSNN）：漏电整合-放电神经元，2–4 ms的突触延迟，以及兴奋性/抑制性神经元类型。
• 网络通过基于最优传输的新型试次匹配损失函数进行梯度优化，以匹配神经活动与下颌运动的实证试次分布。
• 试次匹配损失通过最优分配和脉冲发放列与运动的统计量（如均值、方差）计算生成与记录试次分布之间的距离。
• 该方法实现了在多会话数据（28个会话，六个皮层区域）上的端到端训练，无需试次特定的潜在变量或对低维动力学的先验假设。
• 模型将无结构噪声（高斯输入与随机脉冲）作为输入，使网络能够将其转化为结构化、真实的试次间变异性。
• 评估了替代损失函数（基于似然与GAN）的表现，但试次匹配在稳定性与数值表现上更优，且无需判别器调参。

Figure 1: Modeling trial-variability in electrophysiological recordings. A . During a delayed whisker detection task, the mouse should report the sensation of a whisker stimulation by licking to obtain a water reward. Neural activity and behavior of the mouse are recorded simultaneously. B . A recur

实验结果

研究问题

• RQ1 数据约束的RSNN是否能在多个记录会话中生成神经活动与行为的真实试次间变异性？
• RQ2 该模型是否能在不假设低维潜在变量的前提下，恢复可解释的电路机制以解释变异性？
• RQ3 无结构噪声源在生成神经与行为输出的结构化变异性中扮演何种角色？
• RQ4 基于最优传输的试次匹配损失与基于似然或GAN的替代方法相比，在拟合多会话RSNN时表现如何？
• RQ5 该模型能否将与任务无关的行为变异性（如自发运动）识别为一种独立的变异性模式？

主要发现

• RSNN成功捕捉了来自六个皮层区域28个会话中神经活动与下颌运动的主要试次间变异性模式。
• 该模型生成了逼真的脉冲发放模式，并在未见试次中也实现了高保真度的下颌运动预测，且无需对潜在结构做先验假设。
• 发现了一种意外的变异性模式：小鼠的与任务无关的运动，该模型成功地将其作为试次分布的一部分重现。
• 基于最优传输的试次匹配损失在稳定性和性能上优于基于似然与GAN的替代方法，尤其在多会话设置中表现更优。
• 添加低维潜在输入（如5维高斯噪声）虽加速了优化，但未提升最终性能，表明网络本身即可生成真实变异性。
• UMAP可视化揭示了试次分布中存在低维流形，表明即使无显式架构约束，结构化变异性也能自然地从网络动力学中涌现。

Figure 2: Artificial Dataset. A . Session stitching: every neuron from the recordings is uniquely mapped to a neuron from our model. For example, an excitatory neuron from our model that belongs in the putative A1 is mapped to an excitatory neuron “recorded” in A1. In our network, we constrain the c