[论文解读] Quantized Reinforcement Learning (QuaRL)

Srivatsan Krishnan, Sharad Chitlangia+4 more|arXiv (Cornell University)|Jan 1, 2019

Reinforcement Learning in Robotics参考文献 29被引用 21

一句话总结

本文提出了 QuaRL，一种用于强化学习的量化框架，可在多种强化学习任务和模型中实现 8 位推理且无奖励损失。通过引入 ActorQ 算法和量化分布式训练系统，其在保持收敛性的同时，实现了相较于全精度训练 1.5 倍至 2.5 倍的端到端加速，同时降低了计算成本。

ABSTRACT

Deep reinforcement learning has achieved significant milestones, however, the computational demands of reinforcement learning training and inference remain substantial. Quantization is an effective method to reduce the computational overheads of neural networks, though in the context of reinforcement learning, it is unknown whether quantization's computational benefits outweigh the accuracy costs introduced by the corresponding quantization error. To quantify this tradeoff we perform a broad study applying quantization to reinforcement learning. We apply standard quantization techniques such as post-training quantization (PTQ) and quantization aware training (QAT) to a comprehensive set of reinforcement learning tasks (Atari, Gym), algorithms (A2C, DDPG, DQN, D4PG, PPO), and models (MLPs, CNNs) and show that policies may be quantized to 8-bits without degrading reward, enabling significant inference speedups on resource-constrained edge devices. Motivated by the effectiveness of standard quantization techniques on reinforcement learning policies, we introduce a novel quantization algorithm, extit{ActorQ}, for quantized actor-learner distributed reinforcement learning training. By leveraging full precision optimization on the learner and quantized execution on the actors, extit{ActorQ} enables 8-bit inference while maintaining convergence. We develop a system for quantized reinforcement learning training around extit{ActorQ} and demonstrate end to end speedups of $>$ 1.5 $ imes$ - 2.5 $ imes$ over full precision training on a range of tasks (Deepmind Control Suite). Finally, we break down the various runtime costs of distributed reinforcement learning training (such as communication time, inference time, model load time, etc) and evaluate the effects of quantization on these system attributes.

研究动机与目标

• 探究深度强化学习中量化带来的计算优势是否超过量化误差导致的精度损失。
• 评估标准量化技术——训练后量化（PTQ）和量化感知训练（QAT）——在广泛范围的强化学习任务、算法和架构上的表现。
• 开发一种新型的量化感知训练算法 ActorQ，适用于分布式智能体-学习者强化学习框架，实现在 8 位推理下保持收敛性。
• 构建完整的量化强化学习训练系统，并分析量化对分布式训练中关键系统级成本的影响。

提出的方法

• 将训练后量化（PTQ）和量化感知训练（QAT）应用于多样化的强化学习环境（Atari、Gym）、算法（A2C、DQN、PPO、DDPG、D4PG）和模型（MLPs、CNNs）。
• 提出 ActorQ，一种新型训练算法，其在学习者端使用全精度优化，而在智能体端使用量化推理，从而实现在训练期间执行 8 位策略。
• 围绕 ActorQ 设计分布式强化学习训练系统，支持混合精度执行，降低内存和计算开销。
• 采用系统级性能分析方法，分解并测量分布式强化学习训练中的运行时成本（通信、推理、模型加载）。
• 使用动态范围和对称量化标准技术对权重和激活进行量化，并通过可微分模拟将它们集成到训练流程中。
• 在多个基准测试上验证该框架，包括 DeepMind Control Suite，以衡量端到端训练加速和策略性能。

实验结果

研究问题

• RQ1 标准量化技术（如 PTQ 和 QAT）能否在不造成显著奖励损失的情况下有效应用于深度强化学习策略？
• RQ2 8 位量化策略在多样化强化学习任务和架构中能多大程度上保持性能？
• RQ3 像 ActorQ 这样的新型训练算法能否在实现分布式训练期间支持 8 位推理的同时，保持收敛性和策略性能？
• RQ4 量化对分布式强化学习中关键训练瓶颈（如通信、推理和模型加载）的系统级性能影响如何？
• RQ5 量化带来的计算节省与强化学习中潜在的精度损失之间的权衡如何？

主要发现

• 策略可被量化至 8 位而在 Atari 和 Gym 环境中不损失性能，从而在边缘设备上实现显著的推理加速。
• ActorQ 通过将学习者端的全精度优化与智能体端的量化执行解耦，实现了稳定的 8 位推理训练。
• 所提出的系统在 DeepMind Control Suite 上实现了相较于全精度训练 1.5 倍至 2.5 倍的端到端训练加速。
• 量化显著减少了推理时间和模型加载时间，对分布式训练中的通信开销影响极小。
• 计算节省与精度损失之间的权衡有利：量化在多种强化学习算法和环境中均保持了策略性能。
• 系统级性能分析确认，推理和模型加载是主要成本组成部分，而量化能有效降低这两项开销。