[论文解读] Sampled Policy Gradient for Learning to Play the Game Agar.io

Anton Wiehe, Nil Stolt-Ansó+2 more|arXiv (Cornell University)|Sep 15, 2018

Reinforcement Learning in Robotics参考文献 20被引用 6

一句话总结

本文提出了一种新型离线演员-评论家强化学习算法——采样策略梯度（Sampled Policy Gradient, SPG），通过在动作空间中采样动作并利用评论家近似策略梯度，提升了连续控制任务中的探索能力。SPG 在无需大量采样的情况下达到了与深度确定性策略梯度（DPG）相当的性能，且在食物收集任务中优于Q-learning和CACLA，但在对抗性场景中所有算法均无法击败贪心策略的对手。

ABSTRACT

In this paper, a new offline actor-critic learning algorithm is introduced: Sampled Policy Gradient (SPG). SPG samples in the action space to calculate an approximated policy gradient by using the critic to evaluate the samples. This sampling allows SPG to search the action-Q-value space more globally than deterministic policy gradient (DPG), enabling it to theoretically avoid more local optima. SPG is compared to Q-learning and the actor-critic algorithms CACLA and DPG in a pellet collection task and a self play environment in the game Agar.io. The online game Agar.io has become massively popular on the internet due to intuitive game design and the ability to instantly compete against players around the world. From the point of view of artificial intelligence this game is also very intriguing: The game has a continuous input and action space and allows to have diverse agents with complex strategies compete against each other. The experimental results show that Q-Learning and CACLA outperform a pre-programmed greedy bot in the pellet collection task, but all algorithms fail to outperform this bot in a fighting scenario. The SPG algorithm is analyzed to have great extendability through offline exploration and it matches DPG in performance even in its basic form without extensive sampling.

研究动机与目标

• 开发一种新型离策略演员-评论家算法，以在连续控制环境中实现更全局的探索。
• 在简化的Agar.io环境中，将SPG与Q-learning、CACLA和DPG等成熟算法进行比较。
• 评估离线探索与动作采样对复杂、随机性环境中的策略梯度学习的影响。
• 探究为何CACLA在某些任务中虽使用状态值评论家而非状态-动作值函数，却仍优于DPG和SPG。
• 探索SPG作为未来连续动作空间强化学习研究中灵活且可扩展框架的潜力。

提出的方法

• SPG通过在动作空间中采样多个动作，并利用评论家评估其预期回报，来近似策略梯度。
• 该算法使用评论家网络估计采样动作的价值，相较于确定性策略梯度，能够在更广的动作-Q值空间中进行搜索。
• 通过高斯采样实现离线探索，每条经验过渡中存储最佳采样动作，以提升训练稳定性和性能。
• 演员通过反向传播计算评论家输出相对于采样动作的梯度进行更新，结合了DPG与CACLA的特性。
• 超参数通过粗粒度搜索进行调优，所有算法均采用相同的基于Keras的实现方式，并使用OpenAI的经验回放缓冲区，以确保公平比较。
• 该方法支持扩展，如分布式评论家和分层架构，增强了其在复杂环境中的适应能力。

实验结果

研究问题

• RQ1 与确定性策略梯度相比，SPG中的动作空间采样是否能带来更好的收敛性并减少陷入局部最优？
• RQ2 在Agar.io的粮食收集和自对弈场景中，SPG与Q-learning、CACLA和DPG的性能表现如何比较？
• RQ3 为何CACLA在粮食收集任务中虽使用状态值评论家而非状态-动作值函数，却仍优于DPG和SPG？
• RQ4 离线探索与最佳动作缓存能在多大程度上提升SPG的学习效率与最终性能？
• RQ5 未来工作中，SPG能否有效集成如分布式评论家或好奇心驱动探索等先进技术？

主要发现

• 尽管SPG在初期学习速度较慢，但在粮食收集任务中最终性能与DPG相当，且无需大量采样或架构扩展。
• Q-learning在粮食收集任务中表现优于演员-评论家方法，得益于其更简单、更稳定的训练机制，尽管其对连续动作空间进行了离散化。
• CACLA在所有演员-评论家算法中表现最佳，归因于其使用状态值评论家，表明评论家函数的选择对学习稳定性和结果有显著影响。
• 所有算法在直接对抗场景中均无法超越预编程的贪心策略对手，表明当前方法在复杂、高风险战略互动中仍存在局限。
• 采用离线高斯采样并为每条过渡存储最佳采样动作，显著提升了SPG的性能，建议将其作为默认配置。
• 分析表明，SPG可作为未来扩展的坚实基础，尤其适用于需要强大探索能力和高精度评论家的环境。