[论文解读] Reinforcement Learning Without Backpropagation or a Clock

James Kostas, Chris Nota+1 more|arXiv (Cornell University)|Feb 15, 2019

Reinforcement Learning in Robotics参考文献 15被引用 2

一句话总结

本文提出了协同智能体策略梯度算法（CPGAs），用于训练称为协同智能体网络的随机神经网络，并证明其可收敛至局部最优策略。该研究将理论扩展至异步和循环设置，使分层强化学习（如option-critic）的设计与分析更加简便，且无需反向传播或全局时钟。

ABSTRACT

Coagent policy gradient algorithms (CPGAs) are reinforcement learning algorithms for training a class of stochastic neural networks called coagent networks. In this work, we prove that CPGAs converge to locally optimal policies. Additionally, we extend prior theory to encompass asynchronous and recurrent coagent networks. These extensions facilitate the straightforward design and analysis of hierarchical reinforcement learning algorithms like the option-critic, and eliminate the need for complex derivations of customized learning rules for these algorithms.

研究动机与目标

• 建立协同智能体策略梯度算法（CPGAs）在随机神经网络上的理论收敛性。
• 将现有理论框架扩展至支持异步和循环协同智能体网络。
• 简化如option-critic等分层强化学习算法的设计与分析。
• 消除训练协同智能体网络时对反向传播和全局同步（时钟）的需求。

提出的方法

• 将协同智能体网络形式化为一类适用于策略梯度强化学习的随机神经网络。
• 使用似然比方法推导协同智能体网络的策略梯度更新，避免使用反向传播。
• 提出一种理论框架，通过建模协同智能体间的交互关系，支持异步更新，而无需同步时间机制。
• 通过在策略梯度推导中引入时间依赖性，将框架扩展至循环协同智能体网络。
• 利用协同智能体架构自然支持分层决策，如option-critic框架中的情形。
• 在较弱的正则性条件下，证明CPGAs在异步和循环设置下仍可收敛至局部最优策略。

实验结果

研究问题

• RQ1 能否证明协同智能体策略梯度算法在随机神经网络中可收敛至局部最优策略？
• RQ2 如何将CPGA的理论基础扩展以支持异步协同智能体网络？
• RQ3 该理论能否进一步扩展至循环协同智能体网络，以支持序列决策？
• RQ4 在多大程度上可利用协同智能体框架简化option-critic等分层强化学习算法？
• RQ5 是否可能在保持收敛性的前提下，消除训练协同智能体网络时对反向传播和全局时钟的需求？

主要发现

• 在标准正则性条件下，协同智能体策略梯度算法（CPGAs）可收敛至局部最优策略。
• 理论框架成功扩展至异步协同智能体网络，支持无需全局同步的训练。
• 该框架支持循环协同智能体网络，可建模序列性与时间依赖行为。
• 该扩展可自然且严谨地推导出分层强化学习（如option-critic）的学习规则，无需定制推导。
• 该方法消除了对反向传播和全局时钟的需求，简化了实现并扩大了适用范围。
• 理论结果为分析与设计各类基于协同智能体的强化学习算法提供了统一基础。