[论文解读] Out-of-Distribution Dynamics Detection: RL-Relevant Benchmarks and Results

Mohamad H. Danesh, Alan Fern|arXiv (Cornell University)|Jul 11, 2021

Anomaly Detection Techniques and Applications参考文献 25被引用 4

一句话总结

本文提出了强化学习环境中分布外动力学检测（OODD）的首个基准测试套件，源自标准的强化学习基准（如 OpenAI Gym 和 Bullet）。该研究提出一种基于循环隐式分位数网络（RIQN）的检测方法，通过自回归模型中的预测误差识别异常，在 AUC、检测延迟和误报率等指标上取得了非平凡的性能，但仍存在改进空间。

ABSTRACT

We study the problem of out-of-distribution dynamics (OODD) detection, which involves detecting when the dynamics of a temporal process change compared to the training-distribution dynamics. This is relevant to applications in control, reinforcement learning (RL), and multi-variate time-series, where changes to test time dynamics can impact the performance of learning controllers/predictors in unknown ways. This problem is particularly important in the context of deep RL, where learned controllers often overfit to the training environment. Currently, however, there is a lack of established OODD benchmarks for the types of environments commonly used in RL research. Our first contribution is to design a set of OODD benchmarks derived from common RL environments with varying types and intensities of OODD. Our second contribution is to design a strong OODD baseline approach based on recurrent implicit quantile network (RIQN), which monitors autoregressive prediction errors for OODD detection. In addition to RIQN, we introduce and test three other simpler baselines. Our final contribution is to evaluate our baseline approaches on the benchmarks to provide results for future comparison.

研究动机与目标

• 为解决强化学习环境中分布外动力学检测（OODD）缺乏标准化基准的问题。
• 通过在 CartPole、LunarLander 和 Ant 等常见强化学习环境中注入多样化的动态异常，构建真实的 OODD 基准测试。
• 基于自回归模型中的预测失败，开发并评估基于预测的基线 OODD 检测方法，包括 RIQN、RNN、随机森林和确定性模型。
• 提供可复现的评估框架，包含 AUC、检测延迟和误报率等指标，以供未来方法比较。
• 通过在 GitHub 上公开发布基准测试和基线代码，激发未来研究。

提出的方法

• 通过使用 IQN（针对 OpenAI Gym）和 TD3（针对 Bullet）训练正常策略，生成每个环境 10,000 条正常轨迹，构建基准测试环境。
• 在测试阶段轨迹中通过在随机时间步修改环境参数（如质量、摩擦力、重力）注入异常动力学，每个环境生成 1,000 条异常轨迹。
• 采用循环隐式分位数网络（RIQN）作为核心预测模型，基于历史状态估计未来观测的分布。
• 异常得分通过真实观测与预测分布之间的距离计算（例如，基于分位数损失），距离越大表示异常可能性越高。
• 评估三种更简单的基线方法：随机森林、确定性 RNN 和标准 RNN 基预测器，均以预测误差作为异常信号。
• 评估使用三个指标：AUC（区分能力）、检测延迟（标记异常所需时间）和误报率（误检次数）。

实验结果

研究问题

• RQ1 在标准强化学习环境中，不同预测模型在检测分布外动力学变化方面的有效性如何？
• RQ2 在不同类型的异常和异常强度下，检测延迟、AUC 和误报率之间的权衡关系如何？
• RQ3 在高维状态空间中，像 RIQN 这类概率性自回归模型是否能优于更简单的基线模型？
• RQ4 不同的异常注入策略（如质量变化、摩擦力改变）如何影响可检测性与模型性能？
• RQ5 当前基线方法在实现可靠 OODD 检测方面达到了何种程度？未来方法开发仍存在哪些差距？

主要发现

• 基于 RIQN 的基线在 OODD 基准测试中取得了非平凡的性能，证明了利用预测不确定性进行强化学习动力学异常检测的可行性。
• 检测性能在不同环境和异常类型间差异显著，其中 Ant 和 Hopper 等环境的 AUC 值较高，而 CartPole 等简单环境的 AUC 值较低。
• RIQN 的检测延迟普遍较低，表明其能及时响应异常，但随着异常强度和复杂度的增加，延迟有所上升。
• RIQN 和确定性 RNN 的误报率相对较低，但随机森林基线在高维状态空间中表现出更高的误报率。
• 基准测试表明，当前方法在平衡低延迟、高 AUC 和低误报率方面仍有显著提升空间。
• 公开发布的基准测试和代码支持可复现的评估，推动了强化学习中 OODD 检测的未来研究。