[论文解读] Regularized Anderson Acceleration for Off-Policy Deep Reinforcement Learning

Wenjie Shi, Shiji Song+4 more|arXiv (Cornell University)|Sep 7, 2019

Reinforcement Learning in Robotics参考文献 32被引用 12

一句话总结

本文提出正则化安德森加速（RAA），通过提升收敛速度和样本效率，加速了离策略深度强化学习。通过在带有正则化项的策略迭代中应用RAA以减轻函数逼近误差的影响，该方法在不修改底层算法的前提下，显著提升了Atari 2600和MuJoCo基准测试中的学习速度与最终性能。

ABSTRACT

Model-free deep reinforcement learning (RL) algorithms have been widely used for a range of complex control tasks. However, slow convergence and sample inefficiency remain challenging problems in RL, especially when handling continuous and high-dimensional state spaces. To tackle this problem, we propose a general acceleration method for model-free, off-policy deep RL algorithms by drawing the idea underlying regularized Anderson acceleration (RAA), which is an effective approach to accelerating the solving of fixed point problems with perturbations. Specifically, we first explain how policy iteration can be applied directly with Anderson acceleration. Then we extend RAA to the case of deep RL by introducing a regularization term to control the impact of perturbation induced by function approximation errors. We further propose two strategies, i.e., progressive update and adaptive restart, to enhance the performance. The effectiveness of our method is evaluated on a variety of benchmark tasks, including Atari 2600 and MuJoCo. Experimental results show that our approach substantially improves both the learning speed and final performance of state-of-the-art deep RL algorithms.

研究动机与目标

• 为解决无模型、离策略深度强化学习中的收敛缓慢与样本效率低下问题，尤其是在高维连续状态空间中。
• 将安德森加速——一种用于加速定点迭代的方法——适配至深度强化学习，以应对函数逼近误差带来的扰动。
• 开发一种实用且通用的加速框架，可与现有深度强化学习算法（如Dueling-DQN和TD3）兼容。
• 通过正则化以及两种新策略——渐进更新与自适应重启——提升稳定性与性能。

提出的方法

• 通过从最近的值函数估计中构建子空间，并选择最优线性组合以最小化残差，将安德森加速应用于策略迭代。
• 引入Tikhonov正则化项以控制系数向量的范数，从而减少函数逼近误差的影响。
• 提出渐进更新策略，通过逐步将新估计值引入加速过程，以稳定训练。
• 实现自适应重启机制，当性能停滞时重置加速历史，提升鲁棒性。
• 在Dueling-DQN和TD3等离策略深度强化学习算法中集成RAA，仅需极少的架构修改。
• 利用理论边界证明正则化可限制逼近误差对系数向量的影响。

实验结果

研究问题

• RQ1 尽管存在函数逼近误差和小批量采样噪声，安德森加速是否能在深度强化学习中有效应用？
• RQ2 RAA中的正则化如何控制深度强化学习中逼近误差的影响？
• RQ3 渐进更新与自适应重启对RAA在深度强化学习中的稳定性与性能有何影响？
• RQ4 RAA如何在Atari 2600和MuJoCo等多样化深度强化学习基准测试中提升学习速度与最终性能？
• RQ5 RAA对学习率和正则化尺度等超参数的选择是否具有鲁棒性？

主要发现

• RAA显著加速了Dueling-DQN和TD3的学习过程，在Atari 2600和MuJoCo环境上实现了更快的收敛速度与更高的最终性能。
• 消融实验表明，渐进更新在所有连续控制任务中均对降低训练方差至关重要。
• 自适应重启对性能有轻微提升，表明其在应对收敛停滞方面具有价值。
• 该方法对不同学习率均表现出鲁棒性，即使在次优设置下也持续实现性能提升。
• 当m（先前估计值的数量）增大时，性能提升至某一阈值后趋于饱和，且m > 5后增益显著下降，表明存在成本与收益之间的权衡。