[论文解读] Neural optimal feedback control with local learning rules

Johannes Friedrich, Siavash Golkar+4 more|arXiv (Cornell University)|Nov 12, 2021

Neural dynamics and brain function参考文献 38被引用 5

一句话总结

该论文提出Bio-OFC，一种生物上合理的神经网络，通过仅使用局部突触可塑性规则，将自适应卡尔曼滤波与无模型策略梯度控制相结合。它能够在不依赖噪声协方差或系统动力学知识的情况下，实现延迟、噪声感官反馈下的在线状态估计与控制，在飞行稳定与抓握等任务中实现稳定、直接的轨迹控制。

ABSTRACT

A major problem in motor control is understanding how the brain plans and executes proper movements in the face of delayed and noisy stimuli. A prominent framework for addressing such control problems is Optimal Feedback Control (OFC). OFC generates control actions that optimize behaviorally relevant criteria by integrating noisy sensory stimuli and the predictions of an internal model using the Kalman filter or its extensions. However, a satisfactory neural model of Kalman filtering and control is lacking because existing proposals have the following limitations: not considering the delay of sensory feedback, training in alternating phases, and requiring knowledge of the noise covariance matrices, as well as that of systems dynamics. Moreover, the majority of these studies considered Kalman filtering in isolation, and not jointly with control. To address these shortcomings, we introduce a novel online algorithm which combines adaptive Kalman filtering with a model free control approach (i.e., policy gradient algorithm). We implement this algorithm in a biologically plausible neural network with local synaptic plasticity rules. This network performs system identification and Kalman filtering, without the need for multiple phases with distinct update rules or the knowledge of the noise covariances. It can perform state estimation with delayed sensory feedback, with the help of an internal model. It learns the control policy without requiring any knowledge of the dynamics, thus avoiding the need for weight transport. In this way, our implementation of OFC solves the credit assignment problem needed to produce the appropriate sensory-motor control in the presence of stimulus delay.

研究动机与目标

• 解决现有最优反馈控制（OFC）的生物可实现神经实现中缺乏对延迟和噪声感官反馈的处理能力的问题。
• 开发一种统一的在线框架，结合状态估计（通过自适应卡尔曼滤波）与控制（通过策略梯度），无需分离的学习与执行阶段。
• 消除对噪声协方差和系统动力学全局知识的依赖，这些知识在经典OFC中通常必需，且限制了其生物可实现性。
• 实现一种完全在线、单阶段学习算法，仅使用局部突触可塑性规则，避免反向传播固有的权重传输问题。
• 在具有延迟反馈和非二次代价函数的任务中展示鲁棒性能，而标准策略梯度方法因超调和不稳定性而失效。

提出的方法

• 网络使用不同的神经元群体表示内部状态估计、预测误差（预测与延迟感官反馈之间的不匹配）以及控制指令。
• 通过策略梯度学习使用全局奖励信号引导突触更新，实现无需系统动力学知识的无模型控制。
• 通过在线系统辨识实现自适应卡尔曼滤波，使网络能够实时学习系统的动力学和噪声特性。
• 突触可塑性规则严格局部化：每个突触仅根据预突触和后突触活动以及全局调制性神经递质信号进行更新，满足生物可实现性约束。
• 架构在每个时间步避免内部循环和收敛检查，实现计算复杂度可控的高效在线处理。
• 通过在所有组件（包括状态估计、预测误差计算和控制策略学习）中使用单一学习规则，使模型可推广至不同任务。

实验结果

研究问题

• RQ1 能否仅使用局部学习规则且无需预先知晓噪声协方差或系统动力学，实现生物上合理的神经网络进行最优反馈控制？
• RQ2 如何有效将延迟感官反馈整合到神经控制系统中，以防止运动控制中的不稳定和超调？
• RQ3 统一的单阶段学习算法在多大程度上可以替代传统神经OFC模型中估计、系统辨识与控制阶段的分离？
• RQ4 在具有感官延迟的任务中，结合自适应卡尔曼滤波的无模型策略梯度方法在多大程度上优于标准策略梯度方法？
• RQ5 大脑的预测编码框架在何种程度上可通过仅使用局部可塑性的神经网络实现，同时执行状态估计与控制？

主要发现

• Bio-OFC在100毫秒延迟感官反馈下成功实现了对模拟苍蝇飞行的稳定控制，实现无超调的直接轨迹控制，而标准策略梯度智能体则出现超调和回溯。
• 该模型在双积分器任务和手部抓握任务中均表现出稳定性能，证明其对延迟和噪声刺激的鲁棒性。
• 在具有非二次L1代价函数的任务中，Bio-OFC优于标准策略梯度方法，后者因感官延迟和缺乏预测性状态估计而表现困难。
• 网络通过自适应卡尔曼滤波在线学习系统动力学和噪声特性，消除了离线校准或先验知识的需求。
• 使用局部学习规则使系统能够实现完全在线运行，无需内部循环或收敛检查，从而实现计算高效且可扩展。
• 该架构与已知脑区高度匹配：顶叶皮层负责状态估计，小脑负责系统辨识，运动/前运动皮层负责控制策略执行。