[论文解读] Regularization Matters in Policy Optimization - An Empirical Study on Continuous Control

Zhuang Liu, Xuanlin Li+2 more|arXiv (Cornell University)|Oct 21, 2019

Reinforcement Learning in Robotics被引用 8

一句话总结

本文首次对在深度强化学习连续控制任务中应用传统正则化技术（如L2和Dropout）于策略网络进行了全面的实证研究。研究发现，对策略网络进行正则化能显著提升性能，尤其在困难任务上表现突出，并从样本效率、奖励分布、权重范数控制以及抗噪声能力等多个角度揭示了正则化提升泛化能力的内在原因。

ABSTRACT

Deep Reinforcement Learning (Deep RL) has been receiving increasingly more attention thanks to its encouraging performance on a variety of control tasks. Yet, conventional regularization techniques in training neural networks (e.g., $L_2$ regularization, dropout) have been largely ignored in RL methods, possibly because agents are typically trained and evaluated in the same environment, and because the deep RL community focuses more on high-level algorithm designs. In this work, we present the first comprehensive study of regularization techniques with multiple policy optimization algorithms on continuous control tasks. Interestingly, we find conventional regularization techniques on the policy networks can often bring large improvement, especially on harder tasks. Our findings are shown to be robust against training hyperparameter variations. We also compare these techniques with the more widely used entropy regularization. In addition, we study regularizing different components and find that only regularizing the policy network is typically the best. We further analyze why regularization may help generalization in RL from four perspectives - sample complexity, reward distribution, weight norm, and noise robustness. We hope our study provides guidance for future practices in regularizing policy optimization algorithms. Our code is available at this https URL .

研究动机与目标

• 研究传统正则化技术（如L2、Dropout）对深度强化学习中策略优化的影响。
• 确定正则化是否能提升连续控制任务中的泛化能力和样本效率。
• 将传统正则化与强化学习中广泛使用的熵正则化技术进行效果对比。
• 分析策略网络中哪些组件最受益于正则化。
• 从多个理论视角理解正则化为何能提升强化学习中的性能。

提出的方法

• 在多个连续控制环境中，对策略网络实证评估多种正则化技术（如L2权重衰减、Dropout、批量归一化）的效果。
• 将正则化应用于策略网络的不同组件（如策略头、评论者头、共享特征层），并比较性能表现。
• 使用标准的策略优化算法（如SAC、TD3），并通过调整超参数来测试正则化效果的鲁棒性。
• 从四个理论视角分析正则化的影响：样本复杂度、奖励分布偏移、权重范数控制以及抗噪声能力。
• 通过消融实验，分离正则化对策略网络与其他组件的独立贡献。
• 发布代码以支持结果复现，并推动策略优化中正则化技术的进一步基准测试。

实验结果

研究问题

• RQ1 在策略网络上应用传统正则化技术（如L2、Dropout）是否能在连续控制任务中带来性能提升？
• RQ2 在策略优化中，传统正则化与熵正则化相比，哪种方法更有效？
• RQ3 策略网络中的哪些组件（如策略头、评论者头）最受益于正则化？
• RQ4 正则化的收益是否在不同超参数设置和环境设置下均保持稳健？
• RQ5 正则化为何能提升深度强化学习中泛化能力的内在原因是什么？

主要发现

• 传统正则化技术（如L2和Dropout）在连续控制任务中持续提升性能，尤其在高难度环境中表现更优。
• 仅对策略网络进行正则化所获得的性能提升优于对评论者网络或共享特征层进行正则化。
• 正则化带来的性能增益在不同超参数设置下均保持稳健，表明其具有广泛的适用性。
• 正则化通过稳定奖励分布和控制权重范数，减少过拟合并提升泛化能力。
• 正则化的部分优势源于提升的抗噪声能力，以及对输入扰动的更低敏感度。
• 本研究证明，正则化可提升样本效率，并降低学习动态中的方差。