[论文解读] On Convergence and Optimality of Best-Response Learning with Policy Types in Multiagent Systems

Stefano V. Albrecht, Subramanian Ramamoorthy|arXiv (Cornell University)|Jul 15, 2019

Reinforcement Learning in Robotics参考文献 18被引用 17

一句话总结

本文为多智能体系统中基于用户定义策略类型的最优响应学习提供了理论基础。提出了一种新的后验分布，可收敛至相关类型分布，并引入了一种基于概率双模的最优性准则，实现对类型空间的有效模型检测，从而提升HBA的收敛性与任务求解性能。

ABSTRACT

While many multiagent algorithms are designed for homogeneous systems (i.e. all agents are identical), there are important applications which require an agent to coordinate its actions without knowing a priori how the other agents behave. One method to make this problem feasible is to assume that the other agents draw their latent policy (or type) from a specific set, and that a domain expert could provide a specification of this set, albeit only a partially correct one. Algorithms have been proposed by several researchers to compute posterior beliefs over such policy libraries, which can then be used to determine optimal actions. In this paper, we provide theoretical guidance on two central design parameters of this method: Firstly, it is important that the user choose a posterior which can learn the true distribution of latent types, as otherwise suboptimal actions may be chosen. We analyse convergence properties of two existing posterior formulations and propose a new posterior which can learn correlated distributions. Secondly, since the types are provided by an expert, they may be inaccurate in the sense that they do not predict the agents' observed actions. We provide a novel characterisation of optimality which allows experts to use efficient model checking algorithms to verify optimality of types.

研究动机与目标

• 为解决在多智能体系统中使用策略类型进行最优响应学习时，后验形式化选择缺乏理论指导的问题。
• 分析HBA在何种条件下可收敛至隐含智能体类型的真实分布。
• 为用户提供的策略类型空间开发一种形式化且可验证的最优性准则，以确保任务完成。
• 利用模型检测算法实现对类型空间质量的高效验证。
• 提升HBA在具有未知或异构智能体行为的现实应用中的鲁棒性与可靠性。

提出的方法

• 提出一种新型后验形式化，可学习相关类型分布，相较于现有方法提升收敛性能。
• 采用概率双模作为形式化准则，刻画策略类型的最优性。
• 提出一种基于高效模型检测算法验证类型空间最优性的方法论。
• 分析两种现有后验形式化在渐近条件下的收敛性质。
• 通过在用户定义的有限策略类型集合上进行贝叶斯更新，从观测动作计算后验信念。
• 结合贝尔曼最优性与贝叶斯纳什均衡概念，计算动作选择的期望收益。

实验结果

研究问题

• RQ1 在何种条件下，基于策略类型的最优响应学习可收敛至隐含智能体类型的真实分布？
• RQ2 如何设计后验形式化，以确保在类型相关时仍能实现收敛？
• RQ3 何种标准可定义最优的策略类型空间，以确保HBA中任务的完成？
• RQ4 能否利用形式化方法高效验证给定类型空间的最优性？
• RQ5 用户提供的类型不准确如何影响HBA的性能与收敛性？

主要发现

• 所提出的后验形式化可学习相关类型分布，而先前方法假设类型独立。
• 在特定条件下建立了现有后验的收敛性，但仅新后验能保证在类型相关时的收敛性。
• 概率双模提供了一种形式化且可验证的类型空间最优性准则，支持高效模型检测。
• 理论分析表明，若真实类型空间是用户定义类型空间的概率双模，则HBA将以相等概率实现任务终止。
• 该方法允许用户利用现有的高效算法对概率双模检测进行类型空间质量验证。
• 研究结果为后验选择与类型空间验证提供了形式化基础，提升了HBA在未知多智能体环境中的可靠性。