[论文解读] Payoff-based Inhomogeneous Partially Irrational Play for Potential Game Theoretic Cooperative Control of Multi-agent Systems

Tatsuhiko Goto, Takeshi Hatanaka+1 more|arXiv (Cornell University)|Jul 25, 2011

Distributed Control Multi-Agent Systems参考文献 22被引用 8

一句话总结

本文提出了一种新型多智能体系统学习算法——基于收益的非齐次部分非理性博弈（PIPIP），该算法可在无信息博弈中以概率收敛至最优纳什均衡。通过引入可控的非理性动作选择概率——即以固定概率选择过去较低收益的动作——PIPIP使智能体能够逃离次优均衡，在传感器覆盖任务中表现更优，并在动态环境中展现出更强的适应性，优于以往基于收益的方法（如DISL）。

ABSTRACT

This paper handles a kind of strategic game called potential games and develops a novel learning algorithm Payoff-based Inhomogeneous Partially Irrational Play (PIPIP). The present algorithm is based on Distributed Inhomogeneous Synchronous Learning (DISL) presented in an existing work but, unlike DISL,PIPIP allows agents to make irrational decisions with a specified probability, i.e. agents can choose an action with a low utility from the past actions stored in the memory. Due to the irrational decisions, we can prove convergence in probability of collective actions to potential function maximizers. Finally, we demonstrate the effectiveness of the present algorithm through experiments on a sensor coverage problem. It is revealed through the demonstration that the present learning algorithm successfully leads agents to around potential function maximizers even in the presence of undesirable Nash equilibria. We also see through the experiment with a moving density function that PIPIP has adaptability to environmental changes.

研究动机与目标

• 解决现有基于收益的学习算法仅收敛至任意纯纳什均衡而非最优均衡的局限性。
• 开发一种学习算法，使智能体在保持有限记忆和基于收益操作的前提下，能够逃离不良纳什均衡。
• 确保以概率收敛至势函数最大化者——即最优纳什均衡——而无需获取其他智能体动作的完整信息。
• 展示算法对环境变化的适应能力，例如传感器覆盖问题中密度函数的移动。
• 为在不完全先验知识和动态条件下实现多智能体系统协作控制，提供一种实用且可扩展的解决方案。

提出的方法

• PIPIP通过引入一种概率化的非理性决策规则，扩展了DISL算法：智能体以固定概率ε，从其最近两个动作中随机选择，包括收益较低的动作。
• 动作选择规则基于过去收益的加权组合，选择某一过去动作的概率取决于其相对于另一动作的收益大小。
• 该算法在离散、同步的时间步长下运行，每个智能体仅根据自身观测到的收益和对过去两个动作的有限记忆来更新其动作。
• 算法的非齐次特性允许不同智能体根据其个体收益历史表现出不同的动作选择行为。
• 通过随机稳定性分析，证明了算法以概率收敛至势函数最大化者，其探索机制源于非理性选择。
• 该方法应用于传感器覆盖问题，其中智能体需自组织以最大化表示任务重要性的空间势函数。

实验结果

研究问题

• RQ1 一种具有有限记忆的基于收益的学习算法能否逃离不良纳什均衡，并在无信息博弈中收敛至最优均衡？
• RQ2 引入可控的非理性动作选择概率，对多智能体协作控制中收敛至最优解有何影响？
• RQ3 此类学习算法在环境变化（如传感器覆盖任务中移动的密度函数）下的适应能力有多强？
• RQ4 与现有基于收益的方法（如DISL）相比，所提出的算法在收敛至最优配置及对障碍物的鲁棒性方面是否表现更优？
• RQ5 探索率ε对学习过程的性能与稳定性有何影响？

主要发现

• 在存在障碍物导致次优纳什均衡的传感器覆盖问题中，PIPIP仍能引导智能体收敛至接近势函数最大值的配置。
• 在ε = 0.15的实验中，PIPIP的平均势函数值高于DISL，表明其在逃离不良均衡方面更具优势。
• 在ε = 0.3时，PIPIP虽增加了探索强度，仍保持高性能，展现出在动态环境中的鲁棒性与适应性。
• 该算法使智能体在未预先知晓任务空间或密度函数的情况下，成功避开障碍物并收敛至高重要性区域。
• 在移动密度函数实验中，PIPIP在整个时间过程中维持了接近最优的势函数水平，证实其对环境变化的适应能力。
• 结果表明，当合理控制时，非理性决策可显著提升收敛至最优均衡的性能，优于确定性或完全理性的学习规则。