[论文解读] Non-Cooperative Inverse Reinforcement Learning

Xiangyuan Zhang, Kaiqing Zhang+2 more|arXiv (Cornell University)|Nov 3, 2019

Advancements in Semiconductor Devices and Circuit Design被引用 15

一句话总结

本文提出非合作逆强化学习（N-CIRL），一种单方不完全信息的零和马尔可夫博弈，其中防御者通过交互学习攻击者的真正奖励函数，而攻击者则战略性地隐藏其意图。该方法利用递推公式计算均衡策略，并通过网络安全部 simulations 证明，N-CIRL 所得的攻击者收益显著低于 MA-IRL，表明交互式学习与行动的结合可提升在策略欺骗下的防御性能。

ABSTRACT

Making decisions in the presence of a strategic opponent requires one to take into account the opponent's ability to actively mask its intended objective. To describe such strategic situations, we introduce the non-cooperative inverse reinforcement learning (N-CIRL) formalism. The N-CIRL formalism consists of two agents with completely misaligned objectives, where only one of the agents knows the true objective function. Formally, we model the N-CIRL formalism as a zero-sum Markov game with one-sided incomplete information. Through interacting with the more informed player, the less informed player attempts to both infer, and act according to, the true objective function. As a result of the one-sided incomplete information, the multi-stage game can be decomposed into a sequence of single-stage games expressed by a recursive formula. Solving this recursive formula yields the value of the N-CIRL game and the more informed player's equilibrium strategy. Another recursive formula, constructed by forming an auxiliary game, termed the dual game, yields the less informed player's strategy. Building upon these two recursive formulas, we develop a computationally tractable algorithm to approximately solve for the equilibrium strategies. Finally, we demonstrate the benefits of our N-CIRL formalism over the existing multi-agent IRL formalism via extensive numerical simulation in a novel cyber security setting.

研究动机与目标

• 解决多智能体系统中目标完全错位的对齐问题，特别是在网络安全场景中。
• 建模一方（攻击者）隐藏其真实奖励函数、另一方（防御者）必须通过观察与行动推断其意图的战略交互。
• 为单方不完全信息的零和马尔可夫博弈设计计算上可行的均衡策略计算算法。
• 通过实证证明，在 N-CIRL 中将学习与执行交错进行，相比仅从均衡行为中学习，可获得更优的防御结果。
• 为在信息不对称的随机博弈中实现信号传递与信念操控提供理论基础。

提出的方法

• 将 N-CIRL 问题建模为单方不完全信息的零和马尔可夫博弈，仅攻击者知晓真实奖励函数。
• 基于信息结构，推导出博弈价值与攻击者均衡策略的递推公式。
• 构建对偶博弈，推导出防御者均衡策略的递推公式，从而实现最优学习与行动策略的计算。
• 基于递推公式开发近似算法 NC-PBVI，高效计算均衡策略。
• 将该框架应用于新型网络安全场景，使用攻击图建模，其中利用成功概率将攻击向量表示为状态转移。
• 采用结合攻击者获得新系统状态收益、攻击成本以及防御阻断动作的奖励函数。

实验结果

研究问题

• RQ1 在零和设定下，防御者如何学习主动隐藏意图的战略攻击者的真正目标？
• RQ2 在单方不完全信息且目标错位的马尔可夫博弈中，均衡策略的结构是怎样的？
• RQ3 在非合作 IRL 框架中，将学习与执行交错进行，相比仅从静态均衡行为中学习，如何提升防御性能？
• RQ4 在攻击者采取欺骗行为的情况下，防御者在多大程度上可利用其最终必须通过行动揭示真实意图的需求？
• RQ5 此类非合作逆强化学习问题的计算与理论基础是什么？

主要发现

• 在所有测试图规模下，N-CIRL 显著降低了攻击者的平均收益，相比 MA-IRL 最高达 40% 的相对降幅，尤其在较大网络中表现更优。
• 尽管攻击者可采用欺骗策略，N-CIRL 中防御者的策略仍使攻击者收益低于 MA-IRL，原因在于攻击者最终必须基于真实意图采取行动。
• NC-PBVI 算法具有合理可扩展性，对于 n=10 的图，平均运行时间低于 10 秒，证明了计算上的可行性。
• 博弈的递推结构使得通过递推公式的不动点解可实现均衡策略的可计算性。
• 实证结果表明，防御者从交互式学习中获得的收益，远超从被动学习均衡行为中获得的收益，验证了 N-CIRL 相较于 MA-IRL 的优势。
• 理论与实证结果表明，攻击者无法完全利用其私有信息而不以某种程度暴露它，即欺骗存在理论与实证上的极限。