[论文解读] Regstar: Efficient Strategy Synthesis for Adversarial Patrolling Games

David Klaška, Antonı́n Kučera+2 more|arXiv (Cornell University)|Aug 19, 2021

Artificial Intelligence in Games被引用 2

一句话总结

Regstar 是一种基于可微编程的新颖算法，用于在具有任意边长和检测不完善性的通用图上高效合成对抗性巡逻博弈中的策略。它通过一种高效的过程计算防御者策略的价值和梯度，从而实现基于梯度上升的优化，该方法在真实世界和复杂巡逻图上的表现优于以往的方法。

ABSTRACT

We design a new efficient strategy synthesis method applicable to adversarial patrolling problems on graphs with arbitrary-length edges and possibly imperfect intrusion detection. The core ingredient is an efficient algorithm for computing the value and the gradient of a function assigning to every strategy its "protection" achieved. This allows for designing an efficient strategy improvement algorithm by differentiable programming and optimization techniques. Our method is the first one applicable to real-world patrolling graphs of reasonable sizes. It outperforms the state-of-the-art strategy synthesis algorithm by a margin.

研究动机与目标

• 解决现有巡逻博弈算法在可扩展性和表达能力上的差距，这些算法受限于均匀边长或无记忆策略。
• 设计一种适用于具有任意边长和不完善入侵检测的真实世界巡逻图的策略合成方法。
• 证明依赖于有限历史的规则策略可任意接近最优，从而证明其相较于无记忆策略或一般策略的合理性。
• 开发一种高效算法，实现基于梯度的防御者策略优化，克服闭式价值计算的不可行性。
• 在真实世界实例（包括 ATM 网络和建筑布局）上展示该方法的实际适用性和优越性。

提出的方法

• 通过证明价值函数 Val(γ) 关于策略参数是可微的，将防御者策略合成问题形式化为可微优化问题。
• 设计一种新颖且高效的算法，尽管闭式表达式具有指数级规模，仍能计算规则策略的值和梯度。
• 利用可微编程技术，实现在规则防御者策略空间上的基于梯度上升的优化。
• 构建一个策略改进循环：初始化多个随机的规则策略，通过梯度上升进行优化，并返回表现最佳的一个。
• 实现一种记忆抽象机制，将历史划分为 δ-相似类，以减少状态空间，同时保持与最优策略相差不超过 ε 的精度。
• 应用无限时域模型，以避免有限时域公式中因时间增长导致的可扩展性问题。

实验结果

研究问题

• RQ1 在对抗性巡逻博弈中，依赖于有限历史的规则策略能否实现与一般策略几乎相同的保护水平？
• RQ2 在具有任意边长的图中，是否可行计算规则策略的保护函数值和梯度？
• RQ3 可微编程技术能否有效应用于对抗性巡逻博弈中的策略合成，以实现基于梯度的优化？
• RQ4 所提出方法在真实世界和合成巡逻图上的性能与现有算法相比如何？
• RQ5 该方法在真实世界实例（如带有走廊的 ATM 网络或建筑布局）上的实际可扩展性如何？

主要发现

• Regstar 是首个能够高效合成具有任意边长和不完善检测的真实世界巡逻图中防御者策略的算法。
• 该方法在速度和可扩展性方面均优于 Klaška 等人 [2018] 的最先进算法，解决了此前无法处理的实例。
• Regstar 在蒙特利尔 18 台 ATM 的真实网络中成功计算出最优策略，证明了其实际适用性。
• 在具有走廊的建筑类图上的实验表明，依赖历史的规则策略显著优于无记忆策略，证实了历史信息的重要性。
• 理论分析证明，规则策略可实现与最优策略任意接近的保护水平，从而为限制在该策略类别提供了理论依据。
• 梯度计算过程能够有效通过梯度上升实现策略改进，该方法在多种图拓扑结构下均能收敛至高保护水平的策略。