[论文解读] Reinforcement learning in signaling game

Yilei Hu, Brian Skyrms+1 more|arXiv (Cornell University)|Mar 30, 2011

Game Theory and Applications参考文献 23被引用 28

一句话总结

本文研究了具有 M₁ 个状态、M₂ 个信号和 M₁ 个行为的广义信号博弈中的强化学习。证明了期望收益的几乎必然收敛，以及极限双分图的出现，其中不存在同时具有同义词和信息瓶颈的信号-状态映射，且任何此类图均以正概率成为可能的极限配置。

ABSTRACT

We consider a signaling game originally introduced by Skyrms, which models how two interacting players learn to signal each other and thus create a common language. The first rigorous analysis was done by Argiento, Pemantle, Skyrms and Volkov (2009) with 2 states, 2 signals and 2 acts. We study the case of M_1 states, M_2 signals and M_1 acts for general M_1, M_2. We prove that the expected payoff increases in average and thus converges a.s., and that a limit bipartite graph emerges, such that no signal-state correspondence is associated to both a synonym and an informational bottleneck. Finally, we show that any graph correspondence with the above property is a limit configuration with positive probability.

研究动机与目标

• 研究使用强化学习的代理在具有任意数量状态、信号和行为的广义信号博弈中，如何建立共同的信号系统。
• 确定在重复交互过程中，期望收益是否以几乎必然的方式收敛。
• 表征学习动态中出现的信号-状态映射极限配置的结构。
• 识别在何种条件下，能够以正概率出现稳定且非退化的信号系统——既无同义词也无信息瓶颈。
• 将先前关于 2×2×2 信号博弈的结果推广至任意有限的 M₁ 和 M₂。

提出的方法

• 将重复信号博弈建模为信号与状态之间双分图上的随机过程，采用基于收益的强化学习规则。
• 使用鞅分解分析信号-状态关联权重的演化，将漂移项与鞅分量分离。
• 对状态 i 的权重过程 V_i^k 应用 Doob 分解，将确定性漂移与均值为零的鞅增量分离。
• 应用指数鞅不等式（引理 7.4）以限制鞅分量的大偏差概率。
• 引入停时 τ_n^1、τ_n^2、τ_n^3，以控制权重满足某些正则性条件所需的时间。
• 基于相对权重的 k^{-1/2} 扰动，使用集中不等式控制漂移项，并证明期望权重随时间增加。

实验结果

研究问题

• RQ1 随着轮数增加，基于强化学习的信号博弈中的期望收益是否以几乎必然的方式收敛？
• RQ2 长期学习动态中，信号-状态映射的极限配置具有何种结构特征？
• RQ3 能否出现一种信号系统，使得无信号与多个状态关联（无同义词），且无状态与多个信号关联（无信息瓶颈）？
• RQ4 是否每一个满足无同义词与无瓶颈条件的非退化信号-状态映射，都以正概率成为极限配置？
• RQ5 当状态数与信号数推广至超出 2×2×2 情况时，学习动态的行为如何？

主要发现

• 期望收益随时间几乎必然增加，因此当轮数趋于无穷时，其收敛几乎必然。
• 出现了一个极限双分图形式的信号-状态关联图，其中无信号与多个状态关联（无同义词），且无状态与多个信号关联（无信息瓶颈）。
• 任何满足无同义词与无瓶颈条件的信号-状态映射，均以正概率成为极限配置。
• 学习过程的收敛由权重过程中增加正确信号-状态关联可能性的漂移项驱动，而鞅波动以 O(k^{-1/2}) 的速率衰减。
• 分析表明，在给定的学习规则下，学习动态以高概率避免退化配置（例如所有信号映射到同一状态）。
• 结果将早期关于 2×2×2 信号博弈的发现推广至任意有限的 M₁ 和 M₂，确立了收敛性与结构形成的鲁棒性。