[论文解读] Variational Autoencoders for Opponent Modeling in Multi-Agent Systems

Georgios Papoudakis, Stefano V. Albrecht|arXiv (Cornell University)|Jan 29, 2020

Reinforcement Learning in Robotics参考文献 30被引用 5

一句话总结

本文提出了一种基于变分自编码器（VAE）的新对手建模方法SMA2C，该方法仅使用局部观测、动作和奖励来学习有效的对手表征，从而在推理阶段无需访问对手的内部状态。该方法在性能上与需要完整对手轨迹访问的基线方法相当或更优，表明仅通过极少的外部信息即可实现鲁棒的对手建模。

ABSTRACT

Multi-agent systems exhibit complex behaviors that emanate from the interactions of multiple agents in a shared environment. In this work, we are interested in controlling one agent in a multi-agent system and successfully learn to interact with the other agents that have fixed policies. Modeling the behavior of other agents (opponents) is essential in understanding the interactions of the agents in the system. By taking advantage of recent advances in unsupervised learning, we propose modeling opponents using variational autoencoders. Additionally, many existing methods in the literature assume that the opponent models have access to opponent's observations and actions during both training and execution. To eliminate this assumption, we propose a modification that attempts to identify the underlying opponent model using only local information of our agent, such as its observations, actions, and rewards. The experiments indicate that our opponent modeling methods achieve equal or greater episodic returns in reinforcement learning tasks against another modeling method.

研究动机与目标

• 解决现有对手建模方法在推理阶段需要访问对手观测和动作的局限性。
• 开发一种能够泛化到多智能体环境中未见对手的强化学习智能体。
• 探究是否仅通过智能体自身经验的局部信息即可实现有效的对手建模。
• 评估判别目标对表征质量及下游强化学习性能的影响。

提出的方法

• 提出OMDDPG，一种基于VAE的对手模型，其在训练和推理阶段均使用完整的对手轨迹（观测、动作）。
• 引入SMA2C，一种改进的VAE架构，其编码器仅基于智能体自身的观测、动作、奖励和终止信号来推断对手行为。
• 采用变分推断框架并结合重参数化技巧，使用随机梯度下降端到端训练VAE。
• 引入受Grover等人（2018a）启发的对比损失（判别目标），以促进不同对手表征的解耦与可聚类性。
• 使用互信息神经估计（MINE）评估学习表征与对手身份之间的统计依赖性。
• 在多智能体粒子环境（MPE）和一个简化协作任务中训练并评估模型，分别在弱泛化和强泛化设置下测量回合回报。

实验结果

研究问题

• RQ1 当智能体在推理阶段无法访问对手的内部状态（如观测、动作）时，对手建模是否依然有效？
• RQ2 基于本地智能体数据训练的对手模型性能与使用完整对手轨迹的模型相比如何？
• RQ3 判别目标对学习到的对手表征质量及下游强化学习性能有何贡献？
• RQ4 不同输入组件（如奖励、终止信号）在泛化设置下对对手模型鲁棒性的影响程度如何？
• RQ5 表征中的互信息与强化学习任务中的实际回合回报之间是否存在相关性？

主要发现

• SMA2C在推理阶段不使用对手观测或动作的情况下，仍能实现与OMDDPG及Grover等人（2018a）方法相当或更高的回合回报。
• 判别目标在说话者-听者和双说话者-听者环境中显著提升了性能，尤其在强泛化设置下表现更优。
• 在弱泛化设置下，SMA2C若不使用奖励和终止信号，性能与完整模型相当；但在复杂环境的强泛化设置下性能下降。
• 在大多数环境中，仅使用观测和动作的SMA2C性能与完整模型相似，但在捕食者-猎物环境中性能下降。
• 引入判别目标的模型中，表征与对手身份之间的互信息更高，但该互信息并不总与更好的强化学习回报相关。
• 结果表明，仅通过本地智能体经验即可实现有效的对手建模，挑战了‘必须访问完整对手轨迹’的既有假设。