[论文解读] Robust Reinforcement Learning Under Minimax Regret for Green Security

Lily Xu, Andrew Perrault+3 more|arXiv (Cornell University)|Jun 15, 2021

Reinforcement Learning in Robotics参考文献 41被引用 8

一句话总结

本文提出 MIRROR，一种新颖的强化学习框架，通过双Oracle方法处理对抗行为模型中的不确定性，计算绿色安保中极小化最大遗憾的巡逻策略。该研究首次在真实世界数据中验证了巡护员巡逻对盗猎者的威慑效果，并表明 MIRROR 在多种环境条件下显著降低了最大遗憾，其可扩展性和鲁棒性优于基线方法。

ABSTRACT

Green security domains feature defenders who plan patrols in the face of uncertainty about the adversarial behavior of poachers, illegal loggers, and illegal fishers. Importantly, the deterrence effect of patrols on adversaries' future behavior makes patrol planning a sequential decision-making problem. Therefore, we focus on robust sequential patrol planning for green security following the minimax regret criterion, which has not been considered in the literature. We formulate the problem as a game between the defender and nature who controls the parameter values of the adversarial behavior and design an algorithm MIRROR to find a robust policy. MIRROR uses two reinforcement learning-based oracles and solves a restricted game considering limited defender strategies and parameter values. We evaluate MIRROR on real-world poaching data.

研究动机与目标

• 解决在对抗行为模型不确定性下，绿色安保中鲁棒的序列巡逻规划挑战。
• 基于乌干达伊丽莎白女王国家公园的真实盗猎数据，对巡逻的威慑效应进行建模与验证。
• 开发一种基于强化学习的方法，优化极小化最大遗憾而非最大化最小奖励，从而实现更鲁棒且不那么保守的决策。
• 设计并评估 MIRROR，一种可扩展的算法，可在复杂、不确定的环境中，以极小化最大遗憾准则收敛至 ε-最优策略。

提出的方法

• 将鲁棒巡逻规划问题建模为防御者（智能体）与自然（环境参数不确定性）之间的两人零和最大遗憾博弈。
• 采用双Oracle框架，包含两个基于强化学习的Oracle：一个智能体Oracle用于学习防御者策略，一个自然Oracle用于为给定策略识别最坏情况的参数实例化。
• 对两个Oracle均采用策略梯度方法，将不确定参数作为策略网络的输入，并通过唤醒-睡眠过程更新参数。
• 在两个Oracle中引入参数扰动，以提升策略空间与参数空间中的探索与鲁棒性。
• 采用策略空间响应Oracle（PSRO）框架，迭代扩展所考虑的防御者策略集合与环境参数配置。
• 将遗憾定义为在所有参数实例化中，所选策略的期望回报与最优策略期望回报之间的最大差值。

实验结果

研究问题

• RQ1 在真实野生动物保护场景中，巡护员巡逻是否对盗猎者具有可测量的威慑效果？
• RQ2 强化学习能否有效用于在不确定性下计算序列绿色安保规划中的极小化最大遗憾最优策略？
• RQ3 在不同环境条件下，MIRROR 与基于最大化最小奖励的策略及基线策略相比，其最大遗憾表现如何？
• RQ4 MIRROR 在公园规模、回合时长和不确定参数数量方面的可扩展性如何？
• RQ5 在对手模型中引入威慑效应后，巡逻规划策略的性能与鲁棒性有何变化？

主要发现

• 本研究首次基于乌干达伊丽莎白女王国家公园的真实事件数据，提供了对巡护员巡逻威慑盗猎者效果的实证验证。
• 在所有测试变体（包括回合时长、公园规模、威慑强度和不确定性区间大小）中，MIRROR 相较所有基线方法均显著降低了最大遗憾。
• 随着回合时长增加，MIRROR 的遗憾仅轻微上升，而基线策略的遗憾急剧上升，表明其具备更优的长期鲁棒性。
• MIRROR 在大规模问题上（最多100个不确定参数）仍保持强劲性能与可扩展性，运行时间合理（5–15小时）。
• RARL 遗憾变体（使用自然Oracle的遗憾最大化对手）优于标准RARL最大化最小值，证实了所提出自然Oracle设计的价值。
• MIRROR 在有限次迭代内收敛至 ε-最优策略，证明了在所提框架下的理论收敛性。