[论文解读] Overestimation, Overfitting, and Plasticity in Actor-Critic: the Bitter Lesson of Reinforcement Learning

Michał Nauman, Michał Bortkiewicz+4 more|arXiv (Cornell University)|Mar 1, 2024

Embodied and Extended CognitionNeuroscience被引用 3

一句话总结

本文研究了正则化技术——网络正则化、评论家正则化和可塑性正则化——在14项来自两个基准测试的多样化控制任务中对离策略演员-评论家强化学习的影响。研究发现，简单的网络正则化（例如层归一化）结合完整参数重置，优于复杂的、专为强化学习设计的技术，使无模型智能体能够解决此前难以处理的任务（如狗域任务），而评论家正则化通常会降低性能。

ABSTRACT

Recent advancements in off-policy Reinforcement Learning (RL) have significantly improved sample efficiency, primarily due to the incorporation of various forms of regularization that enable more gradient update steps than traditional agents. However, many of these techniques have been tested in limited settings, often on tasks from single simulation benchmarks and against well-known algorithms rather than a range of regularization approaches. This limits our understanding of the specific mechanisms driving RL improvements. To address this, we implemented over 60 different off-policy agents, each integrating established regularization techniques from recent state-of-the-art algorithms. We tested these agents across 14 diverse tasks from 2 simulation benchmarks, measuring training metrics related to overestimation, overfitting, and plasticity loss -- issues that motivate the examined regularization techniques. Our findings reveal that while the effectiveness of a specific regularization setup varies with the task, certain combinations consistently demonstrate robust and superior performance. Notably, a simple Soft Actor-Critic agent, appropriately regularized, reliably finds a better-performing policy within the training regime, which previously was achieved mainly through model-based approaches.

研究动机与目标

• 评估60多个离策略智能体变体在多样化任务和基准测试中的有效性和鲁棒性。
• 理解正则化技术（网络、评论家和可塑性）在离策略强化学习中如何相互作用并影响性能。
• 测试通用神经网络正则化器是否能在样本高效强化学习中超越领域特定的算法改进。
• 研究深度强化学习训练动态中过估计、过拟合与可塑性损失之间的相互作用。
• 挑战在高回放缓冲比设置下，评论家特定正则化对稳定学习是必要的假设。

提出的方法

• 通过结合近期SOTA算法中的12种正则化设计选择，实现了64种不同的SAC基础智能体变体。
• 在DeepMind Control Suite（DMC）和MetaWorld的14项任务上，评估智能体在两种回放缓冲比制度下的表现。
• 使用梯度范数、价值过估计、过拟合和可塑性损失作为代理指标，分析学习动态。
• 应用层归一化、谱范数、权重衰减和完整参数权重重置作为网络正则化技术。
• 比较针对特定问题（如过估计、过拟合）的干预措施对多个代理指标的影响。
• 通过消融研究，分离单个正则化组件对性能及指标相关性的影响。

实验结果

研究问题

• RQ1 哪些正则化技术能在多样化控制任务中带来稳健且可泛化的性能提升？
• RQ2 通用神经网络正则化器是否能在离策略演员-评论家学习中超越领域特定的强化学习算法改进？
• RQ3 过估计、过拟合与可塑性损失在不同环境和训练制度下与智能体性能的相关性如何？
• RQ4 为何裁剪双Q学习在操控任务中失败，尽管其在运动任务中表现成功？
• RQ5 针对某一类问题（如过拟合）的干预措施，对其他问题（如过估计或可塑性）的影响程度如何？

主要发现

• 层归一化和完整参数重置显著降低了价值过估计，优于评论家特定正则化技术。
• 一个简单但适当正则化的软演员-评论家智能体成功解决了狗域任务——此前仅由基于模型的方法解决——展示了通用正则化的强大能力。
• 评论家正则化通常导致性能下降，尤其在MetaWorld操控任务中，表明其在高回放缓冲比设置下可能适得其反。
• 网络正则化与可塑性正则化相结合，能有效缓解价值过估计，从而在许多情况下消除了对评论家正则化的依赖。
• 针对过拟合的干预措施（如完整参数重置）对过估计和可塑性指标的影响，强于专门为此类问题设计的方法。
• 解释性指标（如梯度范数）与性能之间的相关性在不同环境中差异显著，即使在同一基准测试内也存在差异，凸显了环境依赖的动态特性。