[论文解读] The Impact of Task Underspecification in Evaluating Deep Reinforcement Learning

Vindula Jayawardana, Catherine So–kum Tang+3 more|arXiv (Cornell University)|Oct 16, 2022

Traffic control and management被引用 4

一句话总结

本文识别出深度强化学习（DRL）评估中的“任务描述不足问题”，即依赖少数点MDP而非参数化MDP族会导致性能排名产生误导。通过在MDP族（如CartPole、Pendulum和交通信号控制）中评估DRL方法，本研究表明，方法排名会因MDP分布的不同而显著变化，从而削弱了实证严谨性，并对当前最先进方法的宣称提出了质疑。

ABSTRACT

Evaluations of Deep Reinforcement Learning (DRL) methods are an integral part of scientific progress of the field. Beyond designing DRL methods for general intelligence, designing task-specific methods is becoming increasingly prominent for real-world applications. In these settings, the standard evaluation practice involves using a few instances of Markov Decision Processes (MDPs) to represent the task. However, many tasks induce a large family of MDPs owing to variations in the underlying environment, particularly in real-world contexts. For example, in traffic signal control, variations may stem from intersection geometries and traffic flow levels. The select MDP instances may thus inadvertently cause overfitting, lacking the statistical power to draw conclusions about the method's true performance across the family. In this article, we augment DRL evaluations to consider parameterized families of MDPs. We show that in comparison to evaluating DRL methods on select MDP instances, evaluating the MDP family often yields a substantially different relative ranking of methods, casting doubt on what methods should be considered state-of-the-art. We validate this phenomenon in standard control benchmarks and the real-world application of traffic signal control. At the same time, we show that accurately evaluating on an MDP family is nontrivial. Overall, this work identifies new challenges for empirical rigor in reinforcement learning, especially as the outcomes of DRL trickle into downstream decision-making.

研究动机与目标

• 调查在DRL评估中任意选择少数点MDP如何导致关于方法性能的偏见结论。
• 证明在MDP族（而非孤立实例）上评估DRL方法可显著改变方法的相对排名。
• 强调当方法针对特定MDP实例而非更广泛的任务族进行优化时，评估过拟合的风险。
• 呼吁提升DRL评估的实证严谨性，尤其是在强化学习被应用于高风险决策的现实场景时。
• 提供证据表明，当前的基准实践可能无法反映算法在任务内的真实泛化能力，因此应采用基于MDP族的评估方法。

提出的方法

• 通过将任务建模为参数化MDP族来扩展标准DRL评估，其中环境参数（如交叉口几何形状、交通流量、车道数量）定义任务的变化。
• 通过从这些参数化族中采样生成多样化的MDP实例，例如在CARL基准套件中为CartPole生成576个MDP，为Pendulum生成180个MDP。
• 在每个族内对不同随机分布的点MDP评估多种DRL算法（PPO、TRPO、SAC、TD3），以评估排名稳定性。
• 使用归一化性能分数在不同分布之间比较方法，并量化不同MDP配置下的排名变化。
• 在真实世界交通信号控制和标准控制基准上进行消融研究，以验证MDP族评估的影响。
• 通过从每个任务中组合一个MDP并计算所有组合下的排名频率，分析点MDP选择对跨任务泛化评估的影响。

实验结果

研究问题

• RQ1 点MDP的选择在单个任务内如何影响DRL算法的相对性能排名？
• RQ2 在MDP族上评估DRL方法与在点MDP上评估相比，会在多大程度上改变关于哪种方法为最先进方法的结论？
• RQ3 在标准基准中选择MDP实例（如Pendulum、Half-Cheetah、Mountain Car）是否显著改变DRL方法感知到的鲁棒性和泛化能力？
• RQ4 使用MDP族能否提高在交通信号控制等现实应用中DRL评估的可靠性和统计功效？
• RQ5 DRL方法排名对环境参数（如交通流入量、交叉口几何形状或控制参数）的变化有多敏感？

主要发现

• 在CartPole任务中，PPO在分布$D_1$下排名第一，但在$D_5$下排名最后，而TRPO在后者中表现优于PPO，表明排名因MDP分布不同而完全反转。
• 在Pendulum任务中，不同MDP分布之间也观察到类似的排名变化，表明方法性能对环境参数化高度敏感。
• 在跨任务评估（Pendulum、Half-Cheetah、Mountain Car）中，SAC在42.56%的MDP组合试验中排名第一，而PPO仅在18.75%的案例中排名第一，表明默认基准可能歪曲了方法的优越性。
• 在MDP组合评估中，TD3在47.85%的试验中排名最后，表明其在不同环境配置下的性能极不稳定。
• 研究发现，标准基准中使用的点MDP选择显著影响方法排名，表明当前评估实践可能无法反映真实泛化能力。
• 结果表明，仅依赖单一或少数几个MDP实例进行评估会导致统计功效不足，并存在对特定配置过拟合的风险，从而削弱DRL研究的实证严谨性。