[论文解读] Neural Circuit Architectural Priors for Embodied Control

Nikhil X. Bhattasali, Anthony M. Zador+1 more|arXiv (Cornell University)|Jan 13, 2022

Genetics, Aging, and Longevity in Model Organisms被引用 4

一句话总结

本文提出了一种受生物学启发的人工神经网络架构——神经回路架构先验（NCAP），其灵感源自秀丽隐杆线虫（*C. elegans*）的运动环路，旨在提升具身控制性能。通过编码兴奋/抑制平衡、内在振荡器以及稀疏连接等约束，NCAP 在参数量减少数个数量级的同时，实现了与全连接多层感知机（MLP）相当的性能，显著提升了数据效率，并在新身体设计上表现出优异的可迁移性。

ABSTRACT

Artificial neural networks for motor control usually adopt generic architectures like fully connected MLPs. While general, these tabula rasa architectures rely on large amounts of experience to learn, are not easily transferable to new bodies, and have internal dynamics that are difficult to interpret. In nature, animals are born with highly structured connectivity in their nervous systems shaped by evolution; this innate circuitry acts synergistically with learning mechanisms to provide inductive biases that enable most animals to function well soon after birth and learn efficiently. Convolutional networks inspired by visual circuitry have encoded useful biases for vision. However, it is unknown the extent to which ANN architectures inspired by neural circuitry can yield useful biases for other AI domains. In this work, we ask what advantages biologically inspired ANN architecture can provide in the domain of motor control. Specifically, we translate C. elegans locomotion circuits into an ANN model controlling a simulated Swimmer agent. On a locomotion task, our architecture achieves good initial performance and asymptotic performance comparable with MLPs, while dramatically improving data efficiency and requiring orders of magnitude fewer parameters. Our architecture is interpretable and transfers to new body designs. An ablation analysis shows that constrained excitation/inhibition is crucial for learning, while weight initialization contributes to good initial performance. Our work demonstrates several advantages of biologically inspired ANN architecture and encourages future work in more complex embodied control.

研究动机与目标

• 探究生物启发的神经网络架构是否能为运动控制提供有用的归纳偏置，从而提升数据效率和参数效率。
• 基于秀丽隐杆线虫（*C. elegans*）已充分绘制的运动环路，开发一种神经回路架构先验（NCAP）。
• 评估NCAP在初始性能、渐近学习、数据效率、参数效率、可解释性以及可迁移性方面相较于标准MLP的表现。
• 识别在小型、结构化网络中学习与性能的关键架构组件，如符号约束、权重初始化或稀疏连接。

提出的方法

• 将秀丽隐杆线虫（*C. elegans*）的运动神经环路转化为具有离散时间动力学和ReLU非线性的前馈人工神经网络。
• 整合生物特征：内在振荡器（中央模式发生器）、符号约束突触（兴奋性与抑制性）以及稀疏、模块化的连接结构。
• 使用DeepMind控制套件中的模拟游动代理（Swimmer agent）作为具身化平台进行训练与评估。
• 采用强化学习（PPO）和进化策略（ES）两种方法训练NCAP，以评估其在不同优化范式下的鲁棒性。
• 实施消融研究，以分离权重共享、符号约束、初始化方式以及连接稀疏性对性能的贡献。
• 与具有相同架构但无结构、密集连接且经随机剪枝的标准三层MLP进行性能基准对比。

实验结果

研究问题

• RQ1 受生物神经环路启发的神经网络架构是否能提升具身运动控制中的数据效率与参数效率？
• RQ2 如符号约束突触和内在振荡器等生物启发的架构先验，在小型、稀疏网络中在多大程度上提升了学习能力？
• RQ3 在初始性能、渐近性能以及对新身体设计的可迁移性方面，NCAP架构与标准MLP相比表现如何？
• RQ4 在NCAP框架中，哪些架构组件——如权重初始化、符号约束或稀疏连接——对成功学习最为关键？

主要发现

• NCAP架构在使用参数量减少数个数量级的情况下，达到了与标准MLP相当的渐近性能。
• NCAP表现出显著提升的数据效率，在远少于MLP基线的环境交互次数下即学会运动控制任务。
• 兴奋与抑制的约束对学习至关重要；若缺乏适当的符号约束，NCAP在相同训练条件下将无法学习。
• 权重初始化在实现良好初始性能方面起到了关键作用，表明生物上合理的初始化有助于更快收敛。
• 权重共享对数据效率有适度贡献，而仅靠稀疏连接无法带来性能提升，除非与符号约束结合。
• NCAP能有效迁移到新身体设计上，展现出模块化特性与超越原始代理配置的泛化能力。