[论文解读] The problem with DDPG: understanding failures in deterministic environments with sparse rewards

Guillaume Matheron, Nicolas Perrin+1 more|arXiv (Cornell University)|Nov 26, 2019

Reinforcement Learning in Robotics参考文献 25被引用 61

一句话总结

论文形式化地解释了为何像 DDPG 这样的确定性演员-评论家方法在简单的稀疏奖励环境中会失败，导致在发现奖励却未被利用的死锁循环，并提出潜在的解决办法。

ABSTRACT

In environments with continuous state and action spaces, state-of-the-art actor-critic reinforcement learning algorithms can solve very complex problems, yet can also fail in environments that seem trivial, but the reason for such failures is still poorly understood. In this paper, we contribute a formal explanation of these failures in the particular case of sparse reward and deterministic environments. First, using a very elementary control problem, we illustrate that the learning process can get stuck into a fixed point corresponding to a poor solution. Then, generalizing from the studied example, we provide a detailed analysis of the underlying mechanisms which results in a new understanding of one of the convergence regimes of these algorithms. The resulting perspective casts a new light on already existing solutions to the issues we have highlighted, and suggests other potential approaches.

研究动机与目标

• 用一个简单的一维玩具问题解释 DDPG 如何在确定性、稀疏奖励环境中失败。
• 分析导致死锁的机制，在初次未能利用奖励后，演员和评论家都不再更新。
• 将所识别的失败模式推广到更广泛的连续动作演员-评论家算法。
• 探讨潜在解决方案及实际影响，以缓解此类情境中的循环收敛。

提出的方法

• 引入一个简单的一维玩具环境，具有连续的状态和动作空间以及稀疏奖励函数，以研究 DDPG 的失败。
• 分析学习动态，识别一个死锁循环，在该循环中演员收敛到饱和策略，评论家未能传播奖励信息。
• 提供形式化论证和证明（在简化假设下），展示 Q 如何收敛到 Q^π 并变为分段常数，从而导致演员的梯度消失。
• 演示某些更新（在评论家中使用 Q′(s′,π(s′))）以及确定性策略梯度如何将代理陷入糟糕的策略。
• 将传统 DDPG 与 ddpg-argmax、SAC 等替代方法进行比较，说明移除确定性最大运算符或引入随机性如何有助于避免死锁。
• 讨论函数逼近的影响以及它如何与所识别的失败模式相互作用。

实验结果

研究问题

• RQ1 在连续动作、稀疏奖励环境下，确定性策略梯度更新会出现哪些失败模式？
• RQ2 评论家更新目标（Q′(s′,π(s′))）与确定性演员更新之间的互动如何促成死锁？
• RQ3 其他算法（例如随机演员、对动作的显式最大化、或辅助任务）是否能在简单基准和连续控制任务的稀疏奖励变体中缓解所观察到的失败？
• RQ4 函数逼近以及高估/低估偏差在多大程度上影响循环收敛机制？
• RQ5 这些失败模式是否不仅限于一维玩具问题，还推广到更复杂的环境，如稀疏的 Reacher-v2 或 HalfCheetah-v2？

主要发现

• DDPG 在一个极其简单的一维玩具任务中就会失败，奖励稀疏，在不同初始种子下成功率均小于 100%。
• 代理进入死锁，即使遇到奖励，演员和评论家都无法有效传播奖励信息。
• 评论家趋向于分段常数的 Q^π 函数，导致演员当前策略处的梯度接近为零，停滞策略改进。
• 及早发现奖励与成功收敛到最优策略高度相关；晚发现奖励增加失败可能。
• 替换确定性最大化演员更新或使用随机策略（如 SAC）可以通过避免在评论家/演员更新中依赖 Q(s′,π(s′)) 来解决死锁。
• 函数逼近器既能放大也能缓解这一问题，因为它们对不连续性进行平滑处理并引入局部极值。