[论文解读] Scalable Coordinated Exploration in Concurrent Reinforcement Learning

Maria Dimakopoulou, Ian Osband+1 more|arXiv (Cornell University)|May 1, 2018

Reinforcement Learning in Robotics被引用 9

一句话总结

本文提出了一种可扩展的、协调式的探索方法，用于在共享环境中并行运行的强化学习智能体团队。通过结合种子采样与随机值函数学习，该方法在较少智能体下实现更高效的探索并加快收敛速度，尤其在使用神经网络的高维设置中表现更优。

ABSTRACT

We consider a team of reinforcement learning agents that concurrently operate in a common environment, and we develop an approach to efficient coordinated exploration that is suitable for problems of practical scale. Our approach builds on the seed sampling concept introduced in Dimakopoulou and Van Roy (2018) and on a randomized value function learning algorithm from Osband et al. (2016). We demonstrate that, for simple tabular contexts, the approach is competitive with those previously proposed in Dimakopoulou and Van Roy (2018) and with a higher-dimensional problem and a neural network value function representation, the approach learns quickly with far fewer agents than alternative exploration schemes.

研究动机与目标

• 解决大规模并行多智能体强化学习中的高效探索挑战。
• 与先前方法相比，减少有效探索所需的智能体数量。
• 通过神经网络值函数近似，在高维环境中实现快速学习。

提出的方法

• 将 Dimakopoulou 和 Van Roy (2018) 提出的种子采样方法适配于多个智能体之间的探索协调。
• 整合 Osband 等人 (2016) 提出的随机值函数学习方法，通过随机值估计促进探索。
• 在共享环境中运行，智能体同时行动，通过随机值函数采样实现探索多样性。
• 使用神经网络表示值函数，实现对高维状态-动作空间的可扩展性。
• 通过源自随机值函数的共享探索信号协调智能体行为。

实验结果

研究问题

• RQ1 该协调探索方法能否在大规模、高维环境中有效扩展至多个智能体？
• RQ2 与先前方法相比，该方法在样本效率和所需智能体数量方面表现如何？
• RQ3 种子采样与随机值函数的结合在多大程度上提升了学习速度与性能？

主要发现

• 在简单表格型环境中的表现与先前方法相比具有竞争力。
• 在使用神经网络值函数表示的高维环境中，该方法的学习速度优于其他探索方案。
• 与基线方法相比，该方法实现有效探索与学习所需的智能体数量显著减少。
• 种子采样与随机值函数的结合实现了稳定且可扩展的并行多智能体强化学习协调。