[论文解读] Robust alignment of cross-session recordings of neural population activity by behaviour via unsupervised domain adaptation

Justin Jude, Matthew G. Perich+2 more|arXiv (Cornell University)|Feb 12, 2022

Neural dynamics and brain function被引用 14

一句话总结

本文提出SABLE，一种基于行为引导解耦的序列变分自编码器的域自适应方法，可在无需微调的情况下对齐跨会话的神经种群活动。通过学习会话不变的潜在动力学，该方法在灵长类运动皮层数据上实现了比传统模型及现有域自适应方法（如RAVE+）更鲁棒的行为解码。

ABSTRACT

Neural population activity relating to behaviour is assumed to be inherently low-dimensional despite the observed high dimensionality of data recorded using multi-electrode arrays. Therefore, predicting behaviour from neural population recordings has been shown to be most effective when using latent variable models. Over time however, the activity of single neurons can drift, and different neurons will be recorded due to movement of implanted neural probes. This means that a decoder trained to predict behaviour on one day performs worse when tested on a different day. On the other hand, evidence suggests that the latent dynamics underlying behaviour may be stable even over months and years. Based on this idea, we introduce a model capable of inferring behaviourally relevant latent dynamics from previously unseen data recorded from the same animal, without any need for decoder recalibration. We show that unsupervised domain adaptation combined with a sequential variational autoencoder, trained on several sessions, can achieve good generalisation to unseen data and correctly predict behaviour where conventional methods fail. Our results further support the hypothesis that behaviour-related neural dynamics are low-dimensional and stable over time, and will enable more effective and flexible use of brain computer interface technologies.

研究动机与目标

• 解决脑机接口中因记录会话间神经信号漂移导致解码性能下降的挑战。
• 克服传统解码器在未见会话中无法泛化而需重新训练的局限性。
• 利用假设：尽管单神经元存在变异，与行为相关的神经动力学仍为低维且时间稳定。
• 开发一种方法，仅使用无标签记录和行为标签，从此前未见的数据中推断与行为相关的潜在动力学。
• 在无需域标签或会话特异性校准的情况下实现在会话间的泛化。

提出的方法

• 在同一只动物的多个记录会话上训练序列变分自编码器（SVAE），以神经活动和行为标签作为输入。
• 引入一个行为解码头，引导潜在空间将与行为相关因素与会话特异性噪声解耦。
• 反向传播来自行为解码头的梯度，促使编码器忽略非行为相关变异，从而促进会话不变性。
• 通过将每个会话视为一个域，实现无监督域自适应，无需显式域标签。
• 端到端优化模型，以重建神经活动并预测行为，同时在会话间保持稳定的潜在动力学。
• 将模型应用于长期灵长类运动皮层记录，在抓握任务中测试其对保留会话的泛化能力。

实验结果

研究问题

• RQ1 单一模型是否能在无需微调或域标签的情况下，泛化至多个未见记录会话并预测行为？
• RQ2 尽管存在神经信号漂移和电极移动，支撑行为的潜在动力学在会话间是否保持稳定？
• RQ3 通过行为引导的变分自编码器实现的无监督域自适应，是否优于传统方法提升跨会话解码性能？
• RQ4 当在训练期间未见的会话上测试时，模型性能如何，特别是在会话间差异较大的情况下？
• RQ5 当不同试验间的时序动力学显著变化时，模型是否仍能恢复低维、与行为相关的动力学？

主要发现

• SABLE在无需微调的情况下成功泛化至此前未见的记录会话，实现了传统模型失效时的准确行为解码。
• 与基线RNN和LFADS模型相比，SABLE在跨会话解码中表现更优，展现出更强的泛化能力。
• 竞争性域自适应方法RAVE+因高试验间变异性而无法捕捉与行为相关的结构，导致在未见会话上解码性能差。
• SABLE在12个训练会话后性能未饱和，表明随着更多数据，仍有进一步提升空间。
• 模型在中间保留会话上的表现优于序列末端会话，表明长期时间间隔下可能存在性能衰减。
• 基于Lorenz系统的合成实验表明，即使在随机变换下，该方法仍能恢复稳定的潜在动力学，支持其鲁棒性。