[论文解读] Re-purposing Compact Neuronal Circuit Policies to Govern Reinforcement Learning Tasks.

Ramin Hasani, Mathias Lechner+3 more|arXiv (Cornell University)|Sep 11, 2018

Neural dynamics and brain function参考文献 30被引用 5

一句话总结

本文提出神经回路策略（NCPs），一种受 *C. elegans* 启发的新型循环神经网络，通过液态时间常数和可解释的动力学机制来控制强化学习任务。结果表明，NCPs 可近似任意有限时间内的动力系统，其在模拟和真实世界任务（包括自主火星车停车）中的表现可媲美深度强化学习模型，同时通过基于搜索的强化学习重新配置生物神经回路模型，实现细胞级别的可解释性。

ABSTRACT

We propose an effective method for creating interpretable control agents, by extit{re-purposing} the function of a biological neural circuit model, to govern simulated and real world reinforcement learning (RL) test-beds. Inspired by the structure of the nervous system of the soil-worm, \emph{C. elegans}, we introduce \emph{Neuronal Circuit Policies} (NCPs) as a novel recurrent neural network instance with liquid time-constants, universal approximation capabilities and interpretable dynamics. We theoretically show that they can approximate any finite simulation time of a given continuous n-dimensional dynamical system, with $n$ output units and some hidden units. We model instances of the policies and learn their synaptic and neuronal parameters to control standard RL tasks and demonstrate its application for autonomous parking of a real rover robot on a pre-defined trajectory. For reconfiguration of the \emph{purpose} of the neural circuit, we adopt a search-based RL algorithm. We show that our neuronal circuit policies perform as good as deep neural network policies with the advantage of realizing interpretable dynamics at the cell-level. We theoretically find bounds for the time-varying dynamics of the circuits, and introduce a novel way to reason about networks' dynamics.

研究动机与目标

• 通过重新利用生物神经回路模型，开发用于强化学习的可解释控制智能体。
• 在保持强化学习任务中竞争性能的同时，解决深度神经网络策略缺乏可解释性的问题。
• 实现可解释策略在真实世界中的部署，已在实际火星车机器人上完成验证。
• 理论上建立具有液态时间常数的循环神经网络中时变动力学的边界。
• 通过生物上合理的电路结构，提供一种关于网络动力学的新框架。

提出的方法

• 设计神经回路策略（NCPs）作为具有液态时间常数的循环神经网络变体，以实现动态、时变响应。
• 以 *C. elegans* 神经系统的结构与功能组织为蓝图，构建 NCP 架构。
• 理论上证明 NCPs 可普遍近似任意有限时间内的连续 n 维动力系统，且具有 n 个输出单元。
• 使用基于搜索的强化学习算法，通过调节突触与神经元参数，重新配置神经回路的功能。
• 提出一种新颖方法，通过时变状态演化来推理网络动力学，其基础是电路层面的可解释性。
• 在标准强化学习基准上训练 NCPs，并将其部署于真实世界火星车上，实现沿预设轨迹的自主停车。

实验结果

研究问题

• RQ1 具有可解释动力学的生物启发式循环网络能否普遍近似任意有限时间内的动力系统？
• RQ2 与深度神经网络策略相比，神经回路策略在标准强化学习基准上的表现如何？
• RQ3 通过强化学习实现的参数重新配置，该神经回路模型在多大程度上可被重新用于不同控制任务？
• RQ4 对于具有液态时间常数的此类网络，其时变动力学可推导出哪些理论边界？
• RQ5 在真实世界机器人控制中，能否在不牺牲性能的前提下实现细胞层面的可解释动力学？

主要发现

• 神经回路策略（NCPs）可普遍近似任意有限时间内的连续 n 维动力系统，且具有 n 个输出单元和若干隐藏单元。
• NCPs 在标准强化学习任务（包括连续控制基准）中的表现可媲美深度神经网络策略。
• NCP 框架支持真实世界部署，已通过物理火星车沿预设轨迹成功实现自主停车得到验证。
• 理论分析为电路的时变动力学建立了边界，为推理其行为提供了基础。
• 通过基于搜索的强化学习算法，有效调节突触与神经元参数，实现了对电路功能的重新配置。
• NCPs 提供细胞层面的可解释动力学，使人们能够洞察单个神经元的贡献，而标准深度强化学习策略则不具备此特性。