[论文解读] The Impact of Complex and Informed Adversarial Behavior in Graphical Coordination Games

Keith Paarporn, Brian Canty+3 more|arXiv (Cornell University)|Sep 5, 2019

Distributed Control Multi-Agent Systems参考文献 35被引用 12

一句话总结

本文研究了对抗性影响在环形网络上的图形协调博弈中对对数线性学习的影响。结果表明，对于弱对抗者，动态策略比结构知识更具破坏性；而对于强对抗者，网络意识比策略复杂度更有利，揭示了系统鲁棒性设计中的关键权衡。

ABSTRACT

How does system-level information impact the ability of an adversary to degrade performance in a networked control system? How does the complexity of an adversary's strategy affect its ability to degrade performance? This paper focuses on these questions in the context of graphical coordination games where an adversary can influence a given fraction of the agents in the system, and the agents follow log-linear learning, a well-known distributed learning algorithm. Focusing on a class of homogeneous ring graphs of various connectivity, we begin by demonstrating that minimally connected ring graphs are the most susceptible to adversarial influence. We then proceed to characterize how both (i) the sophistication of the attack strategies (static vs dynamic) and (ii) the informational awareness about the network structure can be leveraged by an adversary to degrade system performance. Focusing on the set of adversarial policies that induce stochastically stable states, our findings demonstrate that the relative importance between sophistication and information changes depending on the the influencing power of the adversary. In particular, sophistication far outweighs informational awareness with regards to degrading system-level damage when the adversary's influence power is relatively weak. However, the opposite is true when an adversary's influence power is more substantial.

研究动机与目标

• 理解在使用对数线性学习的网络化控制系统中，对抗性影响如何影响系统性能。
• 考察对抗性策略复杂度（静态 vs. 动态）与信息意识（对网络结构的了解）对系统退化影响的相对作用。
• 刻画动态或知情策略对系统效率造成最大损害的条件。
• 推导在对抗性操纵下系统效率可达到的最紧下界。

提出的方法

• 将系统建模为环形图，其中参与者在两种惯例（x 和 y）之间选择，收益取决于邻居的协调程度。
• 使用对数线性学习作为分布式决策规则，在正常条件下确保渐近收敛到最优行为。
• 引入一个可影响 γ 分数代理的对抗者，其策略分为静态（固定动作）和动态（基于状态自适应动作）。
• 在两种信息水平下分析对抗性策略：无信息（无网络知识）和知情（完全掌握网络结构知识）。
• 通过整数规划和稳态状态的稳定性分析，推导系统效率的解析界。
• 采用基于段长最小化和预算约束的证明，刻画饱和点和最坏情况性能。

实验结果

研究问题

• RQ1 对抗者策略的复杂度（静态 vs. 动态）如何影响其在图形协调博弈中降低系统性能的能力？
• RQ2 对抗者对网络结构的了解程度（知情 vs. 无信息）如何影响其降低系统效率的有效性？
• RQ3 在对抗性影响中，策略复杂度与信息意识之间的权衡是什么？这种权衡如何依赖于对抗者的影响力预算？
• RQ4 在何种条件下，动态策略会比知情策略更有效地降低系统性能？
• RQ5 在不同复杂度和信息水平下，对抗性策略可实现的系统效率最紧下界是什么？

主要发现

• 对于弱对抗者（γ ≤ α），动态策略比信息意识更具破坏性，可实现的最低效率为 1 − γ/(1 + α)。
• 当对抗者影响力较高（γ > α）时，信息意识比策略复杂度更为关键，效率受涉及 ℓ∗ 和 α 的更复杂表达式约束。
• 在静态和动态知情策略下，稳定化所需的最小段长为 ℓ∗ = ⌈(2 + α)/(1 − α)⌉（y-段）和 2（x-段）。
• 若 α < 1/2，动态知情对抗者每 y-段仅需 2 个 y-对抗者，每 x-段仅需 2 个 x-对抗者，从而显著降低达到性能饱和所需的总预算。
• 对于静态知情策略，性能饱和点出现在对抗者预算 γ 满足 γ ≥ (ℓ∗ + ⌈(2 − α)/(1 + α)⌉) / (ℓ∗ + 2) 时。
• 对于动态知情策略，当 γ ≥ (2 + 2·1(α<1/2)) / (ℓ∗ + 2) 时性能达到饱和，表明当 α < 1/2 时动态适应可带来显著效率提升。