[论文解读] Transformer Based Reinforcement Learning For Games

Uddeshya Upadhyay, Nikunj Shah+2 more|arXiv (Cornell University)|Dec 9, 2019

Artificial Intelligence in Games参考文献 16被引用 10

一句话总结

本文提出了一种基于Transformer的强化学习模型（DTQN），用于视频游戏AI，用自注意力机制替代循环网络以处理序列化的游戏状态。尽管在自然语言处理中表现强劲，DTQN在CartPole环境中的表现仍逊于基于LSTM的DRQN，表明RNN在稀疏、表格化状态输入的强化学习任务中更能有效捕捉时序依赖关系。

ABSTRACT

Recent times have witnessed sharp improvements in reinforcement learning tasks using deep reinforcement learning techniques like Deep Q Networks, Policy Gradients, Actor Critic methods which are based on deep learning based models and back-propagation of gradients to train such models. An active area of research in reinforcement learning is about training agents to play complex video games, which so far has been something accomplished only by human intelligence. Some state of the art performances in video game playing using deep reinforcement learning are obtained by processing the sequence of frames from video games, passing them through a convolutional network to obtain features and then using recurrent neural networks to figure out the action leading to optimal rewards. The recurrent neural network will learn to extract the meaningful signal out of the sequence of such features. In this work, we propose a method utilizing a transformer network which have recently replaced RNNs in Natural Language Processing (NLP), and perform experiments to compare with existing methods.

研究动机与目标

• 探索原始为自然语言处理设计的Transformer架构在视频游戏深度强化学习中的适用性。
• 通过用自注意力机制替代循环网络，解决标准DQN在处理长期依赖关系方面的局限性。
• 评估Transformer中的自注意力机制是否能有效建模部分可观察环境中的序列状态转移。
• 在CartPole控制任务上，比较DQN、DRQN（基于LSTM）和DTQN（基于Transformer）智能体的性能。

提出的方法

• 所提出的DTQN模型仅使用Transformer的编码器组件，处理来自CartPole环境的状态嵌入序列（位置和摆杆角度）输入。
• 多头自注意力机制被用于计算输入序列的上下文表征，使模型能够权衡不同时间步的重要性。
• Transformer编码器的输出用于预测动作的Q值，遵循标准DQN框架。
• 模型通过经验回放和目标网络进行端到端训练，方法与DQN和DRQN一致。
• 实验在OpenAI Gym的CartPole环境中进行，仅使用原始状态值（位置和角度）作为输入。
• DQN、DRQN和DTQN的超参数保持一致，以确保公平比较。

实验结果

研究问题

• RQ1 基于Transformer的架构能否在游戏AI的深度强化学习中有效替代循环网络？
• RQ2 在强化学习中建模序列依赖关系时，Transformer中的自注意力机制是否相比RNN具有性能优势？
• RQ3 在类似CartPole的部分可观察控制任务中，基于Transformer的智能体（DTQN）与DQN和DRQN相比表现如何？
• RQ4 由于Transformer缺乏显式的循环结构，是否会影响其在序列决策任务中学习长期时序依赖的能力？
• RQ5 在基于Transformer的强化学习智能体中，随机初始化是否会对训练稳定性与最终性能产生显著影响？

主要发现

• 使用LSTM建模时序依赖的DRQN在平均得分上表现最高，单次运行最高达到135集。
• DTQN在平均表现上劣于DQN和DRQN，表明基于Transformer的方法在该序列控制任务中泛化能力不足。
• DQN和DTQN在多次随机初始化下表现不一致，训练过程中得分常出现下降或波动。
• DTQN的失败归因于其无法显式建模时间推进过程，而RNN通过在时间步间保持隐藏状态实现了这一功能。
• 尽管Transformer在自然语言处理中取得成功，但在本研究的强化学习设置中，其性能并未超越RNN，尤其在状态输入为低维且具有序列性时。
• 结果表明，对于需要强序列动态建模的任务，当状态输入为低维且具有时序性时，RNN仍比自注意力机制更具有效性。