[论文解读] Rethinking Value Function Learning for Generalization in Reinforcement Learning

Seungyong Moon, JunYeong Lee+1 more|arXiv (Cornell University)|Oct 18, 2022

Domain Adaptation and Few-Shot Learning被引用 4

一句话总结

该论文提出了一种无模型策略梯度算法——延迟评论家策略梯度（DCPG），通过减少价值网络的训练频率以优于策略网络，从而在强化学习中提升观测泛化能力，减少记忆化现象并提高样本效率。此外，该方法引入了一项统一的自监督动力学学习任务，仅使用一个判别器联合优化前向与逆向动力学，最终在Procgen基准测试中取得了最先进性能，测试得分为202.2 ± 10.2（PPO归一化）。

ABSTRACT

Our work focuses on training RL agents on multiple visually diverse environments to improve observational generalization performance. In prior methods, policy and value networks are separately optimized using a disjoint network architecture to avoid interference and obtain a more accurate value function. We identify that a value network in the multi-environment setting is more challenging to optimize and prone to memorizing the training data than in the conventional single-environment setting. In addition, we find that appropriate regularization on the value network is necessary to improve both training and test performance. To this end, we propose Delayed-Critic Policy Gradient (DCPG), a policy gradient algorithm that implicitly penalizes value estimates by optimizing the value network less frequently with more training data than the policy network. This can be implemented using a single unified network architecture. Furthermore, we introduce a simple self-supervised task that learns the forward and inverse dynamics of environments using a single discriminator, which can be jointly optimized with the value network. Our proposed algorithms significantly improve observational generalization performance and sample efficiency on the Procgen Benchmark.

研究动机与目标

• 为解决多环境强化学习中的观测过拟合问题，其中价值网络倾向于记忆训练数据。
• 通过减少价值网络的记忆化现象实现正则化，从而提升在视觉多样化环境中的训练与测试性能。
• 开发一种统一的单网络架构，无需结构解耦即可联合优化策略、价值与动力学网络。
• 通过使用单个判别器的自监督动力学学习目标，提升样本效率与泛化能力。
• 证明延迟价值更新与动力学学习在Procgen基准测试中具有协同增益作用。

提出的方法

• 提出DCPG，一种策略梯度算法，其价值网络的训练频率低于策略网络，从而隐式惩罚价值估计，减少记忆化现象。
• 采用单一统一的网络架构，避免使用分离的策略与价值网络，防止相互干扰。
• 引入一项自监督任务，利用单一判别器联合学习前向与逆向动力学，损失函数为联合形式。
• 采用双重目标：使用裁剪的替代策略目标进行策略更新，以及延迟的价值函数更新以稳定训练过程。
• 应用动力学损失，促使判别器能够正确分类真实转移（st, at, st+1）与反事实转移（st, ˆat, st+1）或（st, at, ˆst+1）。
• 采用延迟评论家更新策略，即价值网络更新频率较低，但每次使用更多训练数据，优于策略网络。

实验结果

研究问题

• RQ1 降低价值网络的更新频率是否能缓解多环境强化学习中的记忆化现象？
• RQ2 单一统一的网络架构能否有效训练策略、价值与动力学网络而无干扰？
• RQ3 使用单一判别器联合学习前向与逆向动力学是否能改善状态表征与泛化能力？
• RQ4 延迟价值更新带来的性能增益是否与自监督动力学学习具有协同效应？
• RQ5 DCPG能否在Procgen基准测试中实现最先进水平的观测泛化与样本效率？

主要发现

• DCPG在Procgen基准测试中取得了184.5 ± 5.2的PPO归一化测试得分，显著优于PPO（160.3 ± 6.3）与PPG（171.7 ± 4.9）。
• DCPG与联合前向与逆向动力学学习结合的变体DDCPG，取得了202.2 ± 10.2的PPO归一化测试得分，创下Procgen新SOTA纪录。
• 由前向动力学判别器分类为有效但实际为分布外（OOD）的动作数量，从DCPG+F的7.05 ± 1.47下降至DDCPG的0.74 ± 0.75，表明动作感知动力学理解能力显著提升。
• 使用单一判别器进行联合动力学学习，相比使用独立判别器，有效降低了OOD动作的误分类率，表明对动作信息的利用更充分。
• 延迟价值更新与动力学学习的结合产生了协同增益，DDCPG在测试性能上优于DCPG与DPPG。
• 使用RLiable进行的统计分析确认，DDCPG在所有指标（中位数、IQM、均值）上均以95%置信区间显著优于PPG。