[论文解读] Q-Learning in enormous action spaces via amortized approximate maximization

Tom Van de Wiele, David Warde-Farley+2 more|arXiv (Cornell University)|Jan 22, 2020

Reinforcement Learning in Robotics参考文献 39被引用 30

一句话总结

介绍了 Amortized Q-learning (AQL)，它用学习到的提议分布来对小规模动作集合进行采样，以取代 Q-learning 中对行动的精确最大化，从而在离散、连续及混合动作空间中实现可扩展学习。

ABSTRACT

Applying Q-learning to high-dimensional or continuous action spaces can be difficult due to the required maximization over the set of possible actions. Motivated by techniques from amortized inference, we replace the expensive maximization over all actions with a maximization over a small subset of possible actions sampled from a learned proposal distribution. The resulting approach, which we dub Amortized Q-learning (AQL), is able to handle discrete, continuous, or hybrid action spaces while maintaining the benefits of Q-learning. Our experiments on continuous control tasks with up to 21 dimensional actions show that AQL outperforms D3PG (Barth-Maron et al, 2018) and QT-Opt (Kalashnikov et al, 2018). Experiments on structured discrete action spaces demonstrate that AQL can efficiently learn good policies in spaces with thousands of discrete actions.

研究动机与目标

• 在高维或连续动作空间中，环境中对 Q-learning 的精确最大化难以实现时，提出动机。
• 提出一种摊销方法，学习一个提议分布以对 Q-learning 更新采样候选行动。
• 证明 AQL 能处理离散、连续和混合动作空间，同时保持 Q-learning 的优势。
• 提供实证证据，表明 AQL 在连续控制和大规模离散动作任务上优于强基线。

提出的方法

• 用来自学习的提议分布 μ(a|s;θμ) 的一组样本上的最大化来替代对动作的精确最大化。
• 训练第二个网络通过对由随机搜索过程发现的动作进行有监督学习来预测 μ，并通过正则化保持探索。
• 将 Q 函数的 AQL 损失定义为标准 Q-learning 的形式，但对来自 μ 的采样动作取最大值，而不是对所有动作取最大值。
• 通过对高 Q 值动作的混合使用均匀采样和 μ 的样本的有监督学习来更新 μ，以提高其概率，并加入探索的熵项。
• 使用自回归提议来建模子动作之间的依赖关系，从而实现对多维动作空间的处理。
• 通过调整 μ 的形式（离散化、高斯分布或类别分布）来使 AQL 适用于连续、离散和混合动作空间。

实验结果

研究问题

• RQ1 摊销行动选择是否能在高维行动空间中最大化 Q-learning 的性能？
• RQ2 在连续控制任务中，AQL 与强基线（D3PG、QT-Opt、IMPALA）相比的表现如何？
• RQ3 AQL 是否能够扩展到大规模离散动作空间和结构化动作集？
• RQ4 提议分布的准确度和探索对学习效率有何影响？

主要发现

• AQL 在 DeepMind Control Suite 的连续控制任务中优于 D3PG 和 QT-Opt。
• AQL 在具有数千个动作的大规模离散动作空间中学习出有效策略，在 DeepMind Lab 任务中得到验证。
• 在高维动作空间中，离散化 AQL 和确定性策略变体优于 Uniform Q-learning 和 QT-Opt。
• 在 DeepMind Lab 的Large Action Set（3528 动作）上，AQL 实现了最佳最终性能并比带有大集合的精确 Q-learning 学得更高效，因为行动选择中的随机性带来收益。
• 在 control-suite 实验中，AQL 的连续实现对低/中维度任务表现相当，但在极高维任务上可能表现不佳；而离散化 AQL 仍总体表现强劲。
• AQL 为处理各种动作空间类型提供了一种灵活的、离策略的替代 stochastic actor-critic 方法的方案，无需重要性采样修正。