[论文解读] QuaRL: Quantization for Sustainable Reinforcement Learning.

Srivatsan Krishnan, Maximilian Lam+5 more|arXiv (Cornell University)|Nov 29, 2021

Reinforcement Learning in Robotics参考文献 35被引用 4

一句话总结

QuaRL 提出 ActorQ，一种新颖的量化方法，可在强化学习中实现 8 位推理而不会导致奖励下降，通过结合全精度学习与量化行动者推理，在 DeepMind Control Suite 上实现了 1.5 倍至 2.5 倍的端到端训练加速。该方法表明，当适当地应用时，量化带来的计算优势超过其精度损失。

ABSTRACT

Deep reinforcement learning has achieved significant milestones, however, the computational demands of reinforcement learning training and inference remain substantial. Quantization is an effective method to reduce the computational overheads of neural networks, though in the context of reinforcement learning, it is unknown whether quantization's computational benefits outweigh the accuracy costs introduced by the corresponding quantization error. To quantify this tradeoff we perform a broad study applying quantization to reinforcement learning. We apply standard quantization techniques such as post-training quantization (PTQ) and quantization aware training (QAT) to a comprehensive set of reinforcement learning tasks (Atari, Gym), algorithms (A2C, DDPG, DQN, D4PG, PPO), and models (MLPs, CNNs) and show that policies may be quantized to 8-bits without degrading reward, enabling significant inference speedups on resource-constrained edge devices. Motivated by the effectiveness of standard quantization techniques on reinforcement learning policies, we introduce a novel quantization algorithm, extit{ActorQ}, for quantized actor-learner distributed reinforcement learning training. By leveraging full precision optimization on the learner and quantized execution on the actors, extit{ActorQ} enables 8-bit inference while maintaining convergence. We develop a system for quantized reinforcement learning training around extit{ActorQ} and demonstrate end to end speedups of $>$ 1.5 $ imes$ - 2.5 $ imes$ over full precision training on a range of tasks (Deepmind Control Suite). Finally, we break down the various runtime costs of distributed reinforcement learning training (such as communication time, inference time, model load time, etc) and evaluate the effects of quantization on these system attributes.

研究动机与目标

• 探究在深度强化学习中，量化带来的计算优势是否超过精度损失。
• 评估标准量化技术（PTQ 和 QAT）在多样化强化学习任务、算法和架构中的表现。
• 设计一种新型的量化感知训练方法 ActorQ，用于分布式行动者-学习者强化学习，实现在 8 位推理下保持收敛性。
• 分析并优化分布式强化学习训练中量化对系统级运行时成本（通信、推理、模型加载）的影响。
• 通过量化实现训练的端到端加速，同时保持策略性能。

提出的方法

• 在广泛的强化学习环境（Atari、Gym）、算法（A2C、DDPG、DQN、D4PG、PPO）和模型（MLPs、CNNs）上应用训练后量化（PTQ）和量化感知训练（QAT）。
• 提出 ActorQ，一种新型训练框架，其学习者使用全精度优化，而行动者执行量化推理，实现 8 位策略执行。
• 围绕 ActorQ 构建系统，支持端到端量化强化学习训练，性能损失最小。
• 分解分布式强化学习训练成本（通信、推理、模型加载），并测量量化对各项的影响。
• 使用标准量化技术并辅以仔细校准，以在训练和推理期间保持策略性能。
• 在多个基准测试和模型配置中，评估计算效率与策略精度之间的权衡。

实验结果

研究问题

• RQ1 标准量化技术（如 PTQ 和 QAT）是否能有效应用于深度强化学习策略，而不会导致显著的奖励下降？
• RQ2 8 位量化策略在多样化强化学习任务和架构中能多大程度上保持性能？
• RQ3 像 ActorQ 这样的新型训练算法是否能在使用 8 位推理的同时，实现分布式强化学习训练的稳定收敛？
• RQ4 量化对分布式强化学习训练工作负载的各个组件（如通信、推理、模型加载）产生何种影响？
• RQ5 通过量化可在强化学习训练中实现多大的端到端加速，同时不牺牲策略性能？

主要发现

• 策略可被量化至 8 位，且在 Atari 和 Gym 环境中累积回报未下降，从而在边缘设备上实现显著的推理加速。
• ActorQ 在分布式行动者-学习者强化学习中实现了稳定训练收敛，同时保持 8 位推理，策略性能未受损。
• 在 DeepMind Control Suite 上，通过所提出的量化训练系统，实现了 1.5 倍至 2.5 倍的端到端训练加速。
• 量化显著减少了推理和模型加载时间，对分布式训练中的通信开销影响极小。
• 研究证实，当使用 QAT 和 ActorQ 等适当技术时，量化带来的计算优势超过其精度损失。
• 系统级性能分析表明，推理和模型加载是训练延迟的主要贡献因素，而量化可有效降低这些开销。