[论文解读] Reinforcement Learning applied to Single Neuron

Zhipeng Wang, Ming Bo Cai|arXiv (Cornell University)|May 15, 2015

Reinforcement Learning in Robotics参考文献 5被引用 4

一句话总结

该论文通过将每个神经元建模为独立智能体，利用吉布斯采样和策略梯度方法优化突触权重，以最大化累积全局奖励，将强化学习应用于多智能体系统。该算法在5个神经元的巧合检测网络中成功收敛，但在更大的50个神经元运动控制系统的高维奖励景观中面临收敛困难。

ABSTRACT

This paper extends the reinforcement learning ideas into the multi-agents system, which is far more complicated than the previously studied single-agent system. We studied two different multi-agents systems. One is the fully-connected neural network consists of multiple single neurons. Another one is the simplified mechanical arm system which is controlled by multiple neurons. We suppose that each neuron is like an agent and it can do Gibbs sampling of the posterior probability of stimulus features. The policy is optimized in a way that the cumulative global rewards are maximized. The algorithm for the second system is based on the same idea but we incorporate the physics model into the constraints. The simulation results show that for the first system our algorithm converges well. For the second system it does not converge well in a reasonable simulation time length. In summary, we took the initial endeavor to study the reinforcement learning for multi-agents system. The computational complexity is always an issue and significant amount of works have to be done in order to better understand the problem.

研究动机与目标

• 通过将神经元建模为独立智能体，将强化学习从单智能体系统扩展到多智能体系统。
• 开发一种利用策略梯度方法优化循环神经网络突触权重的学习算法。
• 在全连接神经网络和简化的机械臂控制系统的框架上进行测试。
• 研究在高维神经策略空间中的计算挑战和收敛行为。

提出的方法

• 每个神经元作为智能体，对以自相关高斯过程建模的突触权重分布执行吉布斯采样。
• 基于式(3)估计的折扣累积奖励，使用梯度上升规则更新突触权重。
• 全局奖励被定义为目标神经元之间脉冲计数的相关性或点积，以促进期望的活动模式。
• 通过时间加权平均的奖励对权重进行更新，学习率β用于调节权重分布的均值。
• 该算法支持神经元的顺序或并行采样与更新，以在收敛速度和奖励归因准确性之间取得平衡。
• 在机械臂任务中，物理模型约束了运动，奖励函数衡量目标与实际臂角之间的相关性。

实验结果

研究问题

• RQ1 强化学习能否有效应用于每个神经元均作为独立智能体的神经元网络？
• RQ2 所提出的结合吉布斯采样突触权重的策略梯度方法，在循环神经网络中优化全局奖励方面的表现如何？
• RQ3 该算法在更大、更复杂的神经网络系统（如运动控制网络）中的收敛特性是什么？
• RQ4 为何该算法在机械臂控制任务中未能收敛，尽管在简单网络中表现成功？

主要发现

• 该算法在5个神经元的网络中成功收敛，其中神经元2从神经元1获得了强输入权重，以匹配其活动，实现了脉冲计数的高相关性。
• 其他神经元显著降低了其输入权重，以最小化活动，因为任何脉冲在奖励函数中均被视为惩罚。
• 在50个神经元的运动控制系统中，预期奖励随时间增加，但在合理模拟时间内未实现收敛。
• 机械臂任务中失败的原因可能是奖励景观的高维性，导致优化困难。
• 作者建议将奖励函数分解为子组件，可通过减少神经元间的竞争来改善收敛性。
• 该方法无需对网络拓扑结构做先验假设，可从初始化起直接应用于全连接网络。