[论文解读] Thalamocortical motor circuit insights for more robust hierarchical control of complex sequences

Laureline Logiaco, G. Sean Escola|arXiv (Cornell University)|Jun 23, 2020

Neural dynamics and brain function参考文献 24被引用 4

一句话总结

本文提出了一种受生物学启发的丘脑皮层循环神经网络架构，实现了对运动模式的鲁棒、无干扰学习以及无缝序列生成，且不会发生灾难性遗忘。通过嵌入可分析的过渡动力学和特定于模式的控制模块，该模型实现了完美的过渡鲁棒性——序列生成中零失败——同时保持了高模式内准确性，在序列灵活性和泛化能力方面优于标准梯度训练的RNN。

ABSTRACT

We study learning of recurrent neural networks that produce temporal sequences consisting of the concatenation of re-usable "motifs". In the context of neuroscience or robotics, these motifs would be the motor primitives from which complex behavior is generated. Given a known set of motifs, can a new motif be learned without affecting the performance of the known set and then used in new sequences without first explicitly learning every possible transition? Two requirements enable this: (i) parameter updates while learning a new motif do not interfere with the parameters used for the previously acquired ones; and (ii) a new motif can be robustly generated when starting from the network state reached at the end of any of the other motifs, even if that state was not present during training. We meet the first requirement by investigating artificial neural networks (ANNs) with specific architectures, and attempt to meet the second by training them to generate motifs from random initial states. We find that learning of single motifs succeeds but that sequence generation is not robust: transition failures are observed. We then compare these results with a model whose architecture and analytically-tractable dynamics are inspired by the motor thalamocortical circuit, and that includes a specific module used to implement motif transitions. The synaptic weights of this model can be adjusted without requiring stochastic gradient descent (SGD) on the simulated network outputs, and we have asymptotic guarantees that transitions will not fail. Indeed, in simulations, we achieve single-motif accuracy on par with the previously studied ANNs and have improved sequencing robustness with no transition failures. Finally, we show that insights obtained by studying the transition subnetwork of this model can also improve the robustness of transitioning in the traditional ANNs previously studied.

研究动机与目标

• 为解决在重复使用运动模式的序列学习过程中循环神经网络出现的灾难性遗忘问题。
• 实现在无需预先训练所有可能过渡的情况下，对已学习模式的鲁棒、灵活序列生成。
• 开发一种在过渡稳定性与性能方面具有分析保证的模型。
• 将运动丘脑皮层环路的见解与深度学习中分层控制的鲁棒性相连接。
• 证明受生物学启发的架构在序列控制的分布外泛化方面可超越标准梯度训练的RNN。

提出的方法

• 设计一种具有模块化架构的循环神经网络（RNN），将特定于模式的参数与共享的循环和读出组件分离。
• 实现一种受丘脑皮层启发的架构，采用使用可分析动力学的专用过渡子网络。
• 使用带有学习权重 $\mathbf{U}_{\textrm{prep}}\mathbf{V}_{\textrm{prep}}^{\intercal}$ 的准备环路，在少于 $10\tau$ 的时间内将网络状态快速重置为零。
• 使用最小化残差活动 $\sum_t |\mathbf{r}(t)|^2$ 的代价函数来训练特定于模式的参数 $\mathbf{b}_{\mu}$ 和 $\mathbf{u}_{\mu}\mathbf{v}_{\mu}^{\intercal}$。
• 对过渡模块采用非梯度、分析式的权重更新，确保渐近稳定性且无过渡失败。
• 将受生物学启发模型的见解应用于标准梯度训练RNN，通过引入类似的过渡模块来提升其鲁棒性。

实验结果

研究问题

• RQ1 循环网络是否能在不干扰先前学习模式的前提下学习新的运动模式，从而实现零样本序列即兴创作？
• RQ2 当从先前模式的任意结束状态开始时，网络是否能鲁棒地生成模式序列，即使这些状态在训练期间未被见过？
• RQ3 受生物学启发的丘脑皮层架构是否能为过渡稳定性提供分析保证并消除灾难性遗忘？
• RQ4 从丘脑皮层模型中获得的见解在多大程度上能提升标准梯度训练RNN的序列生成鲁棒性？
• RQ5 RNN中模块化、可分析的动力学是否能在分层序列生成任务中超越标准深度学习方法？

主要发现

• 受丘脑皮层启发的模型实现了完美的过渡鲁棒性，在序列生成中零失败，即使从先前学习模式的任意结束状态开始也成立。
• 该模型保持了与标准梯度训练RNN相当的模式内准确性，表明生物学合理性并未损害其表达能力。
• 在过渡模块中使用可分析的动力学和非梯度权重更新，确保了渐近稳定性并消除了灾难性遗忘。
• 引入带有学习权重 $\mathbf{U}_{\textrm{prep}}\mathbf{V}_{\textrm{prep}}^{\intercal}$ 的准备环路，可在少于 $10\tau$ 的时间内将状态快速重置为零，从而实现清晰的模式过渡。
• 将丘脑皮层模型的见解应用于标准RNN——通过添加一个受生物学启发的过渡模块——显著提升了其序列生成鲁棒性，并消除了过渡失败。
• 结果表明，受神经科学启发的架构与动力学约束可带来标准随机梯度下降在RNN中无法实现的性能保证与鲁棒性。