[论文解读] Reinforcement Learning for Unified Allocation and Patrolling in Signaling Games with Uncertainty

Aravind Venugopal, Elizabeth Bondi+4 more|arXiv (Cornell University)|Dec 18, 2020

Reinforcement Learning in Robotics参考文献 24被引用 4

一句话总结

该论文提出CombSGPO，一种强化学习框架，统一了在不确定性条件下的信号博弈中防御者资源配置与巡逻策略。该框架采用深度双Q网络（DDQN）进行巡逻，使用演员-评论家网络进行资源配置策略，相较于OptGradFP和GUARDSS等基线方法，在15×15和10×10网格环境中，面对不同动物密度分布和不确定性水平，均表现出更优性能。

ABSTRACT

Green Security Games (GSGs) have been successfully used in the protection of valuable resources such as fisheries, forests and wildlife. While real-world deployment involves both resource allocation and subsequent coordinated patrolling with communication and real-time, uncertain information, previous game models do not fully address both of these stages simultaneously. Furthermore, adopting existing solution strategies is difficult since they do not scale well for larger, more complex variants of the game models. We therefore first propose a novel GSG model that combines defender allocation, patrolling, real-time drone notification to human patrollers, and drones sending warning signals to attackers. The model further incorporates uncertainty for real-time decision-making within a team of drones and human patrollers. Second, we present CombSGPO, a novel and scalable algorithm based on reinforcement learning, to compute a defender strategy for this game model. CombSGPO performs policy search over a multi-dimensional, discrete action space to compute an allocation strategy that is best suited to a best-response patrolling strategy for the defender, learnt by training a multi-agent Deep Q-Network. We show via experiments that CombSGPO converges to better strategies and is more scalable than comparable approaches. Third, we provide a detailed analysis of the coordination and signaling behavior learnt by CombSGPO, showing group formation between defender resources and patrolling formations based on signaling and notifications between resources. Importantly, we find that strategic signaling emerges in the final learnt strategy. Finally, we perform experiments to evaluate these strategies under different levels of uncertainty.

研究动机与目标

• 解决在环境不确定性下信号博弈中资源配置与巡逻协调的挑战。
• 在地理特征影响目标吸引力空间变化的条件下，建模防御者与攻击者的行为。
• 开发一个统一的强化学习框架，联合优化资源配置与巡逻策略。
• 在包括随机与空间分布动物密度在内的多种不确定性条件下评估性能。
• 在效用与学习稳定性方面超越现有基线方法，如OptGradFP和GUARDSS。

提出的方法

• 为巡警与无人机巡逻使用深度双Q网络（DDQN），包含两个3×3卷积层，随后是两个全连接层（128和64个单元），并使用ReLU激活函数。
• 为资源配置策略使用独立的演员-评论家网络：演员使用tanh和sigmoid激活函数预测动作嵌入的均值与方差，评论家使用单输出单元预测预期奖励。
• 采用$ε$-贪婪探索策略，$ε$从1.0线性衰减至0.05，共25,000步，并使用折扣因子$γ$ = 0.99进行奖励塑造。
• 通过加权排名到河流、道路和公园边界的距离，构建空间分布的动物密度，最终密度由这些分量的加权平均得出。
• 使用Adam优化器训练DDQN，$β_1$ = 0.9，$β_2$ = 0.999，经验回放缓冲区大小为1.92e5，用于15×15网格。
• 为演员网络使用竞争性策略优化，15×15网格学习率为3e-4，10×10网格为3e-5，批量大小$n_s$ = 10。

实验结果

研究问题

• RQ1 统一的深度强化学习框架能否在不确定性条件下有效协调信号博弈中的资源配置与巡逻？
• RQ2 受地理特征影响的空间结构化动物密度如何影响防御者策略学习与性能？
• RQ3 在不同不确定性条件下，CombSGPO相较于OptGradFP和GUARDSS等基线方法在防御者效用与学习稳定性方面表现如何？
• RQ4 在15×15和10×10网格环境中，不同网络架构与超参数对学习收敛性与性能有何影响？
• RQ5 所提方法对动物密度分布与环境不确定性的变化具有多强的鲁棒性？

主要发现

• 在15×15和10×10网格的所有不确定性设置下，CombSGPO在平均防御者效用方面显著优于OptGradFP和GUARDSS。
• 在10×10网格中，CombSGPO在所有条件下（SR：单个随机；SS：单个空间；MR：多个随机；MS：多个空间）的平均效用均高于基线方法。
• 训练奖励曲线显示，CombSGPO在所有不确定性水平下收敛更快，且稳定在更高的回报水平，优于OptGradFP。
• 100次采样实验的热力图可视化表明，CombSGPO学习到的攻击者预测模式比OptGradFP和PG基线更有效。
• 该模型在不同网格尺寸与动物密度分布下均保持强性能，表明对环境不确定性具有鲁棒性。
• 基于加权距离的动物密度建模方法增强了策略的现实性，并提升了防御者策略学习效果。