[论文解读] Policy Learning Using Weak Supervision

Jingkang Wang, Hongyi Guo+2 more|arXiv (Cornell University)|Oct 5, 2020

Reinforcement Learning in Robotics参考文献 60被引用 6

一句话总结

本文提出 PeerPL，一种在弱监督下统一处理策略学习的框架，通过将噪声或不完美的信号视为同伴智能体的输出，并强制实施‘相关一致性’以防止过拟合。该方法在存在噪声奖励的强化学习以及弱示范下的模仿学习中均取得了最先进性能，且无需事先知晓噪声率或干净监督信息。

ABSTRACT

Most existing policy learning solutions require the learning agents to receive high-quality supervision signals such as well-designed rewards in reinforcement learning (RL) or high-quality expert demonstrations in behavioral cloning (BC). These quality supervisions are usually infeasible or prohibitively expensive to obtain in practice. We aim for a unified framework that leverages the available cheap weak supervisions to perform policy learning efficiently. To handle this problem, we treat the "weak supervision" as imperfect information coming from a peer agent, and evaluate the learning agent's policy based on a "correlated agreement" with the peer agent's policy (instead of simple agreements). Our approach explicitly punishes a policy for overfitting to the weak supervision. In addition to theoretical guarantees, extensive evaluations on tasks including RL with noisy rewards, BC with weak demonstrations, and standard policy co-training show that our method leads to substantial performance improvements, especially when the complexity or the noise of the learning environments is high.

研究动机与目标

• 解决在缺乏高质量监督（如干净奖励或专家示范）或其获取成本过高时，学习有效策略的挑战。
• 开发一种在弱监督下无需事先知晓噪声率或污染程度的统一策略学习框架。
• 提升在强化学习与模仿学习中对噪声或不完美监督信号过拟合的鲁棒性。
• 为在弱监督下策略恢复提供理论保证，即使监督信号被污染或存在偏差。

提出的方法

• 将弱监督信号视为来自同伴智能体，将其建模为不完美但相关的信源。
• 引入一种‘相关一致性’（CA）损失，基于策略与同伴智能体行为的一致性来评估性能，而非仅依赖简单对齐。
• 显式惩罚那些过度拟合同伴智能体行为的策略，从而减少对噪声或偏差信号的过拟合。
• 设计一个同伴惩罚系数 ξ 以控制相关一致性损失的强度，消融实验表明在中等值时性能最优。
• 将 PeerPL 框架适配至深度 Q 网络（DQN）的强化学习与模仿学习（PeerBC）中，实现智能体间的联合训练。
• 在训练过程中采用 ξ 的线性衰减调度，以稳定收敛，尤其在训练后期避免过度惩罚导致性能下降。

实验结果

研究问题

• RQ1 在不事先知晓噪声率的情况下，策略学习框架能否在监督信号存在噪声或被污染时仍实现鲁棒性能？
• RQ2 与仅依赖弱监督的简单对齐相比，强制与同伴智能体实现‘相关一致性’如何提升泛化能力？
• RQ3 同伴惩罚系数 ξ 对强化学习与模仿学习设置中训练稳定性和最终策略性能有何影响？
• RQ4 当专家或奖励函数具有随机性时，PeerPL 是否能有效从弱示范或噪声奖励中恢复高质量策略？
• RQ5 对同伴惩罚系数采用动态衰减调度是否能改善训练收敛性与最终性能？

主要发现

• 在存在噪声奖励的强化学习中，PeerPL 显著优于标准 DQN 和模仿学习基线，尤其在高噪声水平下（如误差率 e=0.4），实现更快收敛与更高最终回报。
• 在弱示范下的模仿学习中，PeerBC 在多个环境中均优于标准 BC 和 SQIL，当 ξ ∈ [0.1, 0.7] 时性能最优。
• 对同伴惩罚系数 ξ 采用从 0.4 降至 0.1 的线性衰减调度，可稳定训练并提升收敛性，在 CartPole 上的 DQN 训练中优于静态 ξ=0.4。
• 该方法对随机专家策略具有鲁棒性：即使干净专家策略具有随机性，PeerBC 仍能成功恢复确定性行为，经由熵与动作概率分析得到验证。
• 理论分析表明，在对同伴智能体行为与噪声分布施加适度条件时，PeerPL 可实现最优策略恢复。
• 实验结果表明，PeerPL 有效减少了对噪声信号的过拟合，性能提升在高复杂度或高噪声环境中最为显著。