[论文解读] QuaRL: Quantization for Fast and Environmentally Sustainable Reinforcement Learning

Srivatsan Krishnan, Maximilian Lam+5 more|arXiv (Cornell University)|Oct 2, 2019

Reinforcement Learning in Robotics被引用 7

一句话总结

本论文提出 ActorQ，一种基于量化的方法框架，通过使用 8 位量化代理（actors）来加速分布式强化学习，在保持多种强化学习算法与环境中学习收敛性的前提下，实现 1.5× 至 5.41× 的加速，同时将碳排放量减少 1.9× 至 3.76×，相较全精度训练。

ABSTRACT

Deep reinforcement learning continues to show tremendous potential in achieving task-level autonomy, however, its computational and energy demands remain prohibitively high. In this paper, we tackle this problem by applying quantization to reinforcement learning. To that end, we introduce a novel Reinforcement Learning (RL) training paradigm, extit{ActorQ}, to speed up actor-learner distributed RL training. extit{ActorQ} leverages 8-bit quantized actors to speed up data collection without affecting learning convergence. Our quantized distributed RL training system, extit{ActorQ}, demonstrates end-to-end speedups \blue{between 1.5 $ imes$ and 5.41$ imes$}, and faster convergence over full precision training on a range of tasks (Deepmind Control Suite) and different RL algorithms (D4PG, DQN). Furthermore, we compare the carbon emissions (Kgs of CO2) of extit{ActorQ} versus standard reinforcement learning \blue{algorithms} on various tasks. Across various settings, we show that extit{ActorQ} enables more environmentally friendly reinforcement learning by achieving \blue{carbon emission improvements between 1.9$ imes$ and 3.76$ imes$} compared to training RL-agents in full-precision. We believe that this is the first of many future works on enabling computationally energy-efficient and sustainable reinforcement learning. The source code is available here for the public to use: \url{https://github.com/harvard-edge/QuaRL}.

研究动机与目标

• 解决深度强化学习训练带来的高计算与能耗成本，以提升可扩展性与可持续性。
• 在不损害学习收敛性的前提下，减少分布式强化学习中的训练时间与碳排放。
• 探索在强化学习训练流程中应用量化技术（常用于标准神经网络）的可行性与影响。
• 证明量化可有效应用于分布式强化学习系统中的代理推理与通信，以实现性能与环境效益的双重提升。
• 通过系统性地对训练流程中的关键组件进行量化，为实现节能且可持续的强化学习奠定基础。

提出的方法

• 对代理神经网络策略应用 8 位均匀量化，以减少推理过程中的计算量与内存带宽需求。
• 将量化代理集成到分布式代理-学习者强化学习框架（如 D4PG、DQN）中，以加速数据收集与训练过程。
• 通过序列化打包的 C 语言级权重表示来优化模型加载，降低 PyTorch 的 state_dict 加载开销。
• 分析训练瓶颈，识别代理推理与通信为量化收益的主要目标。
• 通过代理与学习者之间的量化通信减少带宽与延迟，尤其在高更新频率下效果显著。
• 利用现有硬件对低精度运算的支持，以最大化加速与能效提升。

实验结果

研究问题

• RQ1 量化能否被有效应用于强化学习智能体，以减少训练时间与能耗？
• RQ2 代理策略在多大程度上可被量化（如 4–8 位）而不影响学习性能或收敛性？
• RQ3 在分布式强化学习中，量化代理与通信如何影响端到端训练速度与碳排放？
• RQ4 分布式强化学习训练中的主要性能瓶颈是什么？能否通过量化缓解？
• RQ5 常用于标准深度学习的量化技术是否可被适配，以实现可持续且高效的强化学习？

主要发现

• ActorQ 在 DeepMind Control Suite 上对多种强化学习算法（包括 D4PG 与 DQN）实现了 1.5× 至 5.41× 的端到端训练加速。
• 即使量化至 8 位，量化代理仍能保持与全精度训练相当的学习收敛性与策略性能。
• 相比全精度训练，碳排放量降低了 1.9× 至 3.76×，展现出显著的环境效益。
• 主要性能提升来源于降低代理推理与节点间通信成本，这两者是分布式强化学习中的主要瓶颈。
• 通过序列化打包的 8 位权重，显著降低了模型加载开销，且 int8 重打包比 fp16 更快，因内存访问次数更少。
• 结果表明，量化是实现可持续强化学习的一种可行且具影响力的优化手段，尤其随着低精度运算硬件支持的增强而更具潜力。